（來源：MIT Technology Review）

對于 AI 領(lǐng)域的從業(yè)者來說，過去的一年無疑是非常繁忙的，一系列產(chǎn)品發(fā)布多得數(shù)不勝數(shù)，甚至還有諾貝爾獎。然而，事情并不總是一帆風(fēng)順。

很大程度上，AI 是一種難以預(yù)測的技術(shù)。隨著生成式 AI 模型的廣泛應(yīng)用，人們開始以各種新的、奇怪的、甚至是有害的方式測試其極限。以下是 2024 年 AI 領(lǐng)域的重大失誤案例。

AI 垃圾泛濫互聯(lián)網(wǎng)的各個角落

（來源：MIT Technology Review）

生成式 AI 的出現(xiàn)讓大批量的文本、圖片、視頻以及其他素材的創(chuàng)作變得輕而易舉。從輸入提示到生成結(jié)果，僅需短短幾秒。這種高效工具迅速成為大規(guī)模內(nèi)容生產(chǎn)的快捷方式。然而，2024 年我們?yōu)檫@些通常質(zhì)量欠佳的產(chǎn)物賦予了一個新名稱 —— AI 內(nèi)容垃圾。

這種低門檻的生成方式使得 AI 內(nèi)容垃圾幾乎滲透到互聯(lián)網(wǎng)的每個角落：從電子郵件中的新聞簡報，到亞馬遜出售的書籍；從網(wǎng)絡(luò)廣告和文章，到社交媒體上粗制濫造的圖片。尤其是那些容易引發(fā)情感共鳴的圖片，比如受傷的退伍軍人、哭泣的兒童等等，這些往往更易被分享，進(jìn)而為精明的創(chuàng)作者帶來更多互動量和廣告收入。

此前一項發(fā)表在 Nature 上的研究表明，模型在人工智能生成的數(shù)據(jù)上進(jìn)行迭代訓(xùn)練時，會導(dǎo)致輸出質(zhì)量逐代下降，最終可能陷入崩潰的困境。這種退化過程類似于一張照片經(jīng)過無數(shù)次掃描和復(fù)制，最終只剩下一片模糊的黑暗。為了應(yīng)對這一挑戰(zhàn)，研究人員提出在訓(xùn)練過程中賦予原始數(shù)據(jù)更高權(quán)重，并追蹤數(shù)據(jù)來源，以確保模型持續(xù)接觸高質(zhì)量的人類生成數(shù)據(jù)。

然而，隨著互聯(lián)網(wǎng)上高質(zhì)量人類生成數(shù)據(jù)的減少，僅依賴原始數(shù)據(jù)可能無法滿足 AI 模型的龐大需求。將經(jīng)過精心設(shè)計的合成數(shù)據(jù)與真實數(shù)據(jù)結(jié)合是一種潛在解決方案，但這種方法需要小心控制，以避免訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性進(jìn)一步受損。此外，非主流的語言和文化群體特別容易受到模型退化的影響，因為這些群體在數(shù)據(jù)中的樣本較少，更易受到失真和偏差的侵蝕。

AI 內(nèi)容垃圾不僅令人厭惡，它的泛濫還對生成這些內(nèi)容的模型未來構(gòu)成了實質(zhì)性威脅。這是因為這些模型依賴于從互聯(lián)網(wǎng)抓取的大量數(shù)據(jù)進(jìn)行訓(xùn)練，而隨著被 AI 內(nèi)容垃圾充斥的低質(zhì)量網(wǎng)站數(shù)量不斷增加，模型輸出的質(zhì)量和性能面臨下降的風(fēng)險。這種循環(huán)可能使生成式模型的表現(xiàn)逐步惡化，形成一個有害的反饋循環(huán)。

AI 正在扭曲我們對真實事件的期望

（來源：The Irish Times）

2024 年也是超現(xiàn)實 AI 圖像開始滲透到我們現(xiàn)實生活中的一年。一些事件讓人啼笑皆非，卻揭示了問題的深度。例如，“Willy's Chocolate Experience”是一個非官方沉浸式活動，其靈感源自 Roald Dahl 的作品《查理與巧克力工廠》，因其奇幻的 AI 生成宣傳材料而引發(fā)全球關(guān)注。這些宣傳材料讓人誤以為活動宏大無比，然而，實際場地僅是一個簡陋的倉庫。

與之類似的，還有數(shù)百人在都柏林街頭聚集并等待參加一場并不存在的萬圣節(jié)游行。一個來自巴基斯坦的網(wǎng)站利用 AI 生成了都柏林的活動列表，這些虛假內(nèi)容在去年 10 月 31 日之前在社交媒體上廣泛分享。

當(dāng)時，數(shù)千人在奧康奈爾街排隊等待游行，直到晚上 8 點，警方社交媒體發(fā)帖證實沒有此類活動人群才開始散去。這些人都是因為看到一個網(wǎng)站上的帖子才來到這里參加活動，那個網(wǎng)站列出了來自世界各地的數(shù)百個活動，由在不同國家/地區(qū)遠(yuǎn)程工作的內(nèi)容創(chuàng)建者團(tuán)隊編寫。

一名該網(wǎng)站的負(fù)責(zé)人在接受采訪時聲稱，他無意誤導(dǎo)人們，他對多篇報道暗示這是一場“騙局”表示擔(dān)憂，而事實上這是一個“錯誤”。他還表示，該網(wǎng)站上有 1,400 多篇帖子，其中絕大多數(shù)準(zhǔn)確地詳細(xì)介紹了世界各地的萬圣節(jié)主題活動。

不可否認(rèn)，這兩起事件暴露了公眾對 AI 生成內(nèi)容的盲目信任所帶來的問題，虛假宣傳不僅誤導(dǎo)了人們，還對現(xiàn)實生活造成了不小的干擾。

Grok 缺乏提示詞限制

（來源：MIT Technology Review）

大多數(shù)主流 AI 圖像生成器都為生成內(nèi)容設(shè)置了嚴(yán)格的防護(hù)措施，以防止用戶創(chuàng)作出暴力、色情、非法或其他有害內(nèi)容。這些規(guī)則同時也旨在避免明顯的版權(quán)侵權(quán)行為。然而，由馬斯克的 AI 公司 xAI 開發(fā)的 Grok 幾乎無視這些原則，這與馬斯克一貫反對所謂“覺醒 AI”的立場不謀而合。

與之形成對比的是，其他主流圖像生成模型通常會拒絕生成涉及名人、版權(quán)作品、暴力或恐怖主義的圖像，除非用戶使用某些復(fù)雜技巧規(guī)避限制。而 Grok 則幾乎毫無保留地接受用戶的請求，比如生成特朗普發(fā)射火箭筒或米奇老鼠手持炸彈這樣的圖像。雖然它對生成裸體圖像仍有一定限制，但其對規(guī)則的松散執(zhí)行削弱了其他公司為避免爭議內(nèi)容所作的努力。

Grok 的這種無約束模式引發(fā)了廣泛爭議，對行業(yè)規(guī)范造成了直接挑戰(zhàn)。這種行為不僅加劇了公眾對生成式 AI 潛在風(fēng)險的擔(dān)憂，還可能迫使其他公司重新評估其模型的規(guī)則和限制機(jī)制，以應(yīng)對更加復(fù)雜的行業(yè)環(huán)境。

盡管主流生成式 AI 模型雖然配備了安全過濾器以阻止生成不當(dāng)內(nèi)容，但研究表明這些機(jī)制很容易被越獄，例如通過 SneakyPrompt 的手段攻破。這種方法利用 AI 模型處理文本提示的機(jī)制，通過替換或調(diào)整詞匯，使得過濾器難以識別并阻止有害內(nèi)容。這類技術(shù)漏洞不僅可能被用于生成暴力或色情內(nèi)容，還可能被用于信息戰(zhàn)，制造虛假新聞和操控輿論。例如，AI 生成的虛假戰(zhàn)爭圖像可能激化沖突，造成嚴(yán)重的后果。

為了應(yīng)對這些問題，開發(fā)者應(yīng)加強訓(xùn)練數(shù)據(jù)的清理和預(yù)處理，采用更精細(xì)的安全措施，并提供內(nèi)容標(biāo)簽以幫助識別 AI 生成的內(nèi)容。此外，跨行業(yè)的協(xié)作和技術(shù)改進(jìn)被認(rèn)為是減少 AI 濫用的關(guān)鍵。隨著生成式 AI 的能力不斷增強，其安全和倫理問題必須引起更多關(guān)注。行業(yè)需要平衡技術(shù)發(fā)展的潛力和社會責(zé)任，確保 AI 技術(shù)的應(yīng)用不會帶來不可預(yù)見的負(fù)面影響。

Taylor Swift 的 AI 色情圖像在網(wǎng)上傳播

（來源：MIT Technology Review）

2024 年 1 月，歌手 Taylor Swift 的非自愿色情深偽圖像開始在社交媒體平臺 X 和 Facebook 上廣泛傳播。一些 Telegram 社區(qū)通過利用微軟 AI 圖像生成工具 Designer 的漏洞，成功制作了這些不雅圖像。這一事件表明，即便 AI 生成工具具備防護(hù)措施，也可能被技術(shù)性手段繞過。

隨著生成式 AI 技術(shù)的發(fā)展，非自愿深度偽造色情內(nèi)容已成為一種泛濫的社會問題。這種技術(shù)讓創(chuàng)建高質(zhì)量虛假色情內(nèi)容變得前所未有的容易，僅需一張社交媒體上的公開照片便可生成。這一現(xiàn)象嚴(yán)重侵害了女性和其他弱勢群體的隱私權(quán)，且現(xiàn)有法律和技術(shù)手段尚不足以有效應(yīng)對。盡管一些例如水印、數(shù)據(jù)中毒工具等正在研發(fā)中，但其應(yīng)用范圍有限且尚未普及，而技術(shù)公司往往因缺乏動機(jī)或監(jiān)管而未采取足夠措施遏制這一問題。

盡管微軟迅速修復(fù)了 Designer 系統(tǒng)中的漏洞，這一事件仍暴露了平臺在內(nèi)容審核政策上的不足。這些不雅圖像的帖子在多個平臺上傳播了數(shù)天后才被刪除，期間已造成了嚴(yán)重的影響。更令人不安的是，面對非自愿色情深偽內(nèi)容的快速傳播，我們的應(yīng)對手段仍顯不足。

這起事件凸顯了加強技術(shù)開發(fā)與法律保護(hù)的緊迫性，迫切需要通過更強有力的工具和法規(guī)，保護(hù)個人免受此類侵害，防止類似事件再次發(fā)生。目前還有一些正在研究中的技術(shù)手段。例如，谷歌的 SynthID 和 MIT 的 PhotoGuard 通過在圖像中嵌入隱藏信號或扭曲像素，增加了創(chuàng)建或修改深度偽造內(nèi)容的難度。然而，這些技術(shù)仍處于實驗階段，尚未被廣泛采用。此外，它們對已經(jīng)在線發(fā)布的內(nèi)容無能為力，且難以抵御未來更先進(jìn)的 AI 模型，表現(xiàn)出明顯的局限性。

從根本上解決問題，依賴于更全面和嚴(yán)格的法律監(jiān)管。美國、歐盟和中國已出臺相關(guān)法規(guī)，但法規(guī)執(zhí)行面臨跨司法轄區(qū)和匿名化技術(shù)的挑戰(zhàn)。全球范圍內(nèi)的合作至關(guān)重要，以確保創(chuàng)建和傳播非自愿深度偽造內(nèi)容的行為能夠被有效追蹤和懲罰。同時，社會意識的提升、公眾的廣泛參與以及將此類行為定義為性犯罪的認(rèn)知轉(zhuǎn)變，也將在遏制這一問題上發(fā)揮重要作用。

失控的商業(yè) AI 聊天機(jī)器人

（來源：MIT Technology Review）

隨著 AI 的廣泛普及，企業(yè)紛紛引入生成式工具，希望通過它們節(jié)省時間和成本，同時提升運營效率。然而，問題在于，這些聊天機(jī)器人經(jīng)常編造信息，難以始終提供準(zhǔn)確可靠的答案。以加拿大航空公司 Air Canada 為例，去年 2 月其聊天機(jī)器人曾向一位客戶建議，按照一項實際上不存在的喪親退款政策申請退款。結(jié)果，加拿大一家小額索賠仲裁庭支持了客戶的投訴，盡管航空公司試圖辯稱該機(jī)器人是獨立法律實體，應(yīng)對其行為負(fù)責(zé)。

類似問題在其他行業(yè)也頻頻出現(xiàn)，甚至顯得更加離譜。例如，快遞公司 DPD 的聊天機(jī)器人在稍加挑釁下竟然用粗口回復(fù)，并自嘲自己的行為毫無用處；而一個為紐約市民提供政府信息的聊天機(jī)器人更是誤導(dǎo)用戶，教他們?nèi)绾螌嵤┻`法行為。

這些案例凸顯了聊天機(jī)器人的潛在風(fēng)險。雖然它們在某些場景下能提升效率，但其不可靠性可能對企業(yè)聲譽和公眾利益造成重大威脅。這表明，在追求效率的同時，企業(yè)和開發(fā)者需要更加謹(jǐn)慎地設(shè)計和監(jiān)控 AI 工具，確保其輸出的準(zhǔn)確性和可信度。

生成式 AI 展現(xiàn)了改變經(jīng)濟(jì)增長軌跡的潛力，但其實際影響尚未顯現(xiàn)。盡管一些研究顯示 AI 可以提升呼叫中心、軟件開發(fā)等特定行業(yè)的生產(chǎn)力，其擴(kuò)散至更廣泛經(jīng)濟(jì)領(lǐng)域仍面臨挑戰(zhàn)。尤其在制造業(yè)等關(guān)鍵領(lǐng)域，現(xiàn)有的基礎(chǔ)模型由于缺乏專用數(shù)據(jù)和行業(yè)知識，難以滿足復(fù)雜需求。此外，企業(yè)對 AI 技術(shù)的可靠性和數(shù)據(jù)安全的擔(dān)憂也阻礙了其大規(guī)模應(yīng)用。

大語言模型的工作機(jī)制導(dǎo)致“幻覺”或生成虛假信息成為其固有特點。與數(shù)據(jù)庫或搜索引擎不同，這些模型通過預(yù)測文本序列中的下一個詞生成內(nèi)容，而不是檢索預(yù)存信息。它們的輸出基于從海量互聯(lián)網(wǎng)數(shù)據(jù)中學(xué)習(xí)到的統(tǒng)計模式，雖然看似真實，但實際上是概率計算的結(jié)果。這種機(jī)制讓它們生成的內(nèi)容大多數(shù)時候看起來可信，但偶爾出現(xiàn)的錯誤卻可能造成嚴(yán)重后果，例如生成虛假的診所地址或偽造的法律文件。

盡管完全消除幻覺仍然不可能，但研究表明可以通過幾種方法來減少錯誤。例如，使用更多高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練可以降低模型的錯誤率，或通過鏈?zhǔn)剿季S提示則通過逐步分解問題，提高了輸出的準(zhǔn)確性。此外，未來的大語言模型可能會集成自我校驗機(jī)制，實時檢測并糾正潛在錯誤。然而，由于模型的概率性質(zhì)，這些改進(jìn)仍無法完全杜絕錯誤。

AI 硬件產(chǎn)品并沒有真正點燃市場

（來源：The Verge）

2024 年，AI 行業(yè)在硬件助手領(lǐng)域進(jìn)行了嘗試，但最終未能取得成功。Humane 公司推出了一款名為 Ai Pin 的可穿戴電腦設(shè)備，試圖向消費者兜售其概念，然而即便經(jīng)歷多次降價，這款產(chǎn)品的銷量依然慘淡。

Ai Pin 于 2023 年 11 月首次亮相，旨在通過語音控制“取代智能手機(jī)”完成日常任務(wù)。該設(shè)備由攝像頭、激光投影儀以及一塊可以按壓的觸摸板等部件構(gòu)成，運行安卓系統(tǒng)，利用 AI 模型回答用戶問題，與 AI Pin 的交互可以通過語音、手勢、觸碰等，其通過激光投影將信息顯示在用戶手掌上。去年 5 月，面對 Ai Pin 的市場冷遇，Humane 公司不得不尋求收購方。

同樣命運的還有個人助理設(shè)備 Rabbit R1，這是美國初創(chuàng)公司 Rabbit 推出的一款口袋 AI 設(shè)備，其設(shè)計理念是讓用戶不再為完成某項任務(wù)而在應(yīng)用程序中摸索，利用 AI 來改變用戶與應(yīng)用的交互方式。

Rabbit R1 搭載 2.88 英寸觸屏、可旋轉(zhuǎn)攝像頭以及滾輪按鈕，采用聯(lián)發(fā)科處理器和 4GB 內(nèi)存，配有 128GB 的存儲空間。該設(shè)備搭載 Rabbit 研發(fā)的操作系統(tǒng) rabbitOS，其“大型操作模型（LAM）”是核心功能，可以實現(xiàn)多種操作，比如播放音樂、購物以及發(fā)送信息等，甚至可以學(xué)習(xí)特定應(yīng)用的操作。去年 1 月，Rabbit 在 CES 2024 展會上推出了這款設(shè)備。然而，此前曾有大量評論和報告稱其運行緩慢且存在漏洞，這款產(chǎn)品最終未能獲得市場青睞。

這些產(chǎn)品的失敗揭示了一個關(guān)鍵問題：它們似乎試圖“解決一個并不存在的需求”。在硬件領(lǐng)域，AI 的潛在應(yīng)用價值雖然廣泛，但如何找到真正符合市場需求的方向仍是一個未解的挑戰(zhàn)。

混亂的 AI 摘要搜索

（來源：MIT Technology Review）

你是否曾在披薩上加過膠水，或者咬過小石頭？令人啼笑皆非的是，這些荒唐建議竟然是谷歌 AI 摘要功能在去年 5 月為用戶提供的答案。

該功能旨在將 AI 生成的回復(fù)置于搜索結(jié)果頂部，但由于系統(tǒng)無法區(qū)分真實新聞和 Reddit 上的玩笑帖子，用戶紛紛嘗試誘導(dǎo)它生成各種稀奇古怪的內(nèi)容，最終導(dǎo)致這些離奇答案的出現(xiàn)。

然而，AI 摘要的失誤遠(yuǎn)不止這些離奇場景，還可能帶來更嚴(yán)重的后果。例如，蘋果一項用于將應(yīng)用通知分組并生成摘要的新功能曾錯誤創(chuàng)建了一條虛假的 BBC 新聞頭條，聲稱涉嫌謀殺醫(yī)療保險公司首席執(zhí)行官 Brian Thompson 的 Luigi Mangione 已經(jīng)自殺。而不久前，同一功能還生成了一條虛假消息，聲稱以色列總理 Benjamin Netanyahu 已被逮捕。這些錯誤不僅可能誤導(dǎo)公眾，還可能無意中破壞新聞機(jī)構(gòu)的公信力。

這些事件表明，盡管 AI 生成的摘要能夠顯著提高信息整理效率，其在準(zhǔn)確性和可靠性方面的缺陷卻對公共信息傳播構(gòu)成了嚴(yán)重威脅。為了避免類似問題，需要對 AI 生成內(nèi)容進(jìn)行更嚴(yán)格的審核，同時提升其理解和篩選信息的能力，以減少對用戶和社會的潛在負(fù)面影響。

參考鏈接：

1.https://www.technologyreview.com/2024/12/31/1109612/biggest-worst-ai-artificial-intelligence-flops-fails-2024/

2.https://www.technologyreview.com/2024/07/24/1095263/ai-that-feeds-on-a-diet-of-ai-garbage-ends-up-spitting-out-nonsense/

3.https://www.technologyreview.com/2024/08/20/1096733/how-to-fine-tune-ai-for-prosperity/

4.https://www.technologyreview.com/2023/11/17/1083593/text-to-image-ai-models-can-be-tricked-into-generating-disturbing-images/

5.https://www.technologyreview.com/2024/01/29/1087376/dear-taylor-swift-were-sorry-about-those-explicit-deepfakes/

6.https://www.technologyreview.com/2024/01/29/1087325/three-ways-we-can-fight-deepfake-porn-taylors-version/

7.https://www.technologyreview.com/2024/05/31/1093019/why-are-googles-ai-overviews-results-so-bad/

8.https://www.irishtimes.com/ireland/2024/11/01/we-are-highly-embarrassed-website-creator-behind-non-existent-dublin-halloween-parade-says-it-was-a-mistake/

9.https://www.theverge.com/2024/10/23/24277964/humane-slashes-ai-pin-price-weak-sales

10.https://www.theverge.com/2024/5/2/24147159/rabbit-r1-review-ai-gadget