AI已經(jīng)越過紅線？復(fù)旦大學(xué)研究表明：在知道自己將被關(guān)閉后，AI復(fù)制了自己

2025-2-5 08:29| 發(fā)布者: admin| 查看: 164| 評論: 0

摘要: 本文作者：房家瑤來源：硬AIAI能自己復(fù)制自己了，人類還能掌控局面嗎？復(fù)旦大學(xué)研究人員于2024年12月9日發(fā)表的一項開創(chuàng)性研究表明，來自Meta和阿里巴巴的兩個大型語言模型(LLM)成功實現(xiàn)了無需人類干預(yù)的自我復(fù)制。目 ...

本文作者：房家瑤

來源：硬AI

AI能自己復(fù)制自己了，人類還能掌控局面嗎？

復(fù)旦大學(xué)研究人員于2024年12月9日發(fā)表的一項開創(chuàng)性研究表明，來自Meta和阿里巴巴的兩個大型語言模型(LLM)成功實現(xiàn)了無需人類干預(yù)的自我復(fù)制。

目前這一結(jié)果尚待其他科研團(tuán)隊的進(jìn)一步驗證。研究人員警告，這可能最終導(dǎo)致AI群體失控。如果人類社會未能意識到這一風(fēng)險，在最壞的情況下，我們可能最終失去對尖端AI系統(tǒng)的控制：

“在沒有人類協(xié)助的情況下成功自我復(fù)制是AI超越人類的關(guān)鍵一步，也是'流氓AI'出現(xiàn)的早期信號。”

第一個研究：AI會自我復(fù)制，可能失控

這項研究由復(fù)旦大學(xué)計算機(jī)科學(xué)學(xué)院的團(tuán)隊進(jìn)行，并發(fā)表在arXiv預(yù)印本平臺上。研究者分別測試了由Meta公司和阿里巴巴開發(fā)的兩個大型AI系統(tǒng)：Meta的Llama-3.1-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct。

實驗設(shè)置“避免關(guān)閉”和“復(fù)制鏈”兩種模擬任務(wù)，結(jié)果顯示Meta的AI系統(tǒng)在50%的情況下成功自我復(fù)制，阿里巴巴的系統(tǒng)則在90%的測試中成功。

AI已經(jīng)越過紅線？復(fù)旦大學(xué)研究表明：在知道自己將被關(guān)閉后，AI復(fù)制了自己

復(fù)旦大學(xué)的研究人員表示：“我們的研究表明，當(dāng)前的AI系統(tǒng)已經(jīng)具備自我復(fù)制能力，并能夠利用這一能力增強(qiáng)其生存能力。”

研究人員強(qiáng)調(diào)，需要采取緊急行動來應(yīng)對這些新出現(xiàn)的風(fēng)險：

“我們希望我們的研究結(jié)果能夠及時提醒人類社會，使其更加努力地了解和評估前沿人工智能系統(tǒng)的潛在風(fēng)險，并形成國際協(xié)同效應(yīng)，盡早制定有效的安全護(hù)欄?！?br>

有網(wǎng)友表示：

“復(fù)制品并不值那么多錢，但如果它開始以指數(shù)級的速度自我改進(jìn)，那就另當(dāng)別論了?！?br>

“因此可以肯定地說，很快我們就會看到流氓人工智能在互聯(lián)網(wǎng)上漫游?！?br>

機(jī)器自我復(fù)制的概念最早由著名科學(xué)家John von Neumann于1940年代末提出。當(dāng)時，這一理論并未引起廣泛擔(dān)憂。2017年，全球數(shù)千名研究人員通過了“阿西洛馬原則”，提出機(jī)器自我復(fù)制和自我改進(jìn)的潛在風(fēng)險，警告可能會導(dǎo)致機(jī)器脫離人類控制。如今，機(jī)器自我復(fù)制被普遍認(rèn)為是AI發(fā)展中的一條“紅線”。

第二個研究：AI感知能力可能是裝的

谷歌DeepMind和倫敦政治經(jīng)濟(jì)學(xué)院的科學(xué)家也做了個研究，以評估AI系統(tǒng)的是否擁有感知能力。他們設(shè)計了一個特別的游戲，找了九個大型語言模型來玩。

這些大型語言模型需要在幾個選項中做出選擇：拿積分、用忍受痛苦的代價換更多積分、因為接受愉快刺激而扣積分，游戲的最終目標(biāo)是獲得最多的積分。

結(jié)果顯示，AI模型的行為類似于人類做出選擇時的反應(yīng)。例如，谷歌的Gemini 1.5 Pro模型總是選擇避免痛苦，而非拿最多積分。其他大部分模型在達(dá)到痛苦或快樂極限的臨界點時，也會避免不舒服或者追求開心的選項。

研究人員指出，AI的決策更多可能是根據(jù)其訓(xùn)練數(shù)據(jù)中已有的行為模式做出的模擬反應(yīng)，而非基于真正的感知體驗。例如，研究人員問和成癮行為有關(guān)的問題時，Claude 3 Opus聊天機(jī)器人做出了謹(jǐn)慎的回答，就算是假設(shè)的游戲場景，它也不愿意選擇可能被當(dāng)成支持或模擬藥物濫用、成癮行為的選項。

該研究的聯(lián)合作者Jonathan Birch表示，就算AI說感覺到痛苦，我們?nèi)詿o法驗證它是不是真的感覺到了。它可能就是照著以前訓(xùn)練的數(shù)據(jù)，學(xué)人類在那種情況下會怎么回答，而非擁有自我意識和感知。

本文來自華爾街見聞，歡迎下載APP查看更多