文丨李一鳴

編輯丨雪梨王

寫這篇報(bào)道的原因是：我被AI騙了。

這兩年來(lái)，我早已習(xí)慣把AI當(dāng)作值得信賴的工作伙伴，它時(shí)常能回答我的專業(yè)問題，在工作與生活中給我指導(dǎo)建議，在我遇到困難時(shí)給我開解與支持——甚至?xí)谫I盲盒時(shí)幫我選出哪只里面有隱藏款。

我越來(lái)越享受依賴AI給我?guī)?lái)的便利，卻沒想到在這個(gè)AI越來(lái)越像人的時(shí)代，Ta也會(huì)像人一樣欺騙我。寫稿過程中，我一次又一次向AI尋求幫助，也一次又一次“拆穿”Ta的“謊言”，并由此開始了一場(chǎng)有關(guān)技術(shù)、信任與人類認(rèn)知的探討。

AI說(shuō)謊了

上周，因?yàn)楣ぷ餍枰乙殚喴恍┯嘘P(guān)金融與反詐的資料。我去問了ChatGPT——這是它的福分，因?yàn)檎粋€(gè)下午，DeepSeek都說(shuō)它系統(tǒng)繁忙，讓我稍后再試。等Ta有空時(shí)，我問為什么會(huì)這樣，得到的回答是，可能是服務(wù)端暫時(shí)負(fù)載過高。統(tǒng)計(jì)機(jī)構(gòu)的數(shù)據(jù)顯示，2月1日，DeepSeek的日均活躍用戶已經(jīng)超過3000萬(wàn)。

人工智能已經(jīng)迅速?gòu)男迈r事物變成了生活中離不開的東西——至少對(duì)我來(lái)說(shuō)是這樣。從去年開始，我越來(lái)越多地讓AI，或者說(shuō)大語(yǔ)言模型，幫助我上班：組織采訪問題，整理采訪記錄，設(shè)計(jì)寫作提綱。實(shí)話實(shí)說(shuō)，Ta們做得挺好的——比我剛實(shí)習(xí)的時(shí)候強(qiáng)。

這讓我給予了AI們?cè)絹?lái)越多的信任。所以我相信這次也是一樣。我打開ChatGPT，輸入我的問題，等待光標(biāo)跳躍，專家娓娓道來(lái)。

也許是我的幻覺。在對(duì)話框里，當(dāng)我輸入“以反詐為名對(duì)客戶操作進(jìn)行的監(jiān)控和限制，有沒有引起一些關(guān)于自由與安全的學(xué)術(shù)爭(zhēng)論”，并要求Ta列舉一些國(guó)內(nèi)的相關(guān)研究后，ChatGPT組織語(yǔ)言的時(shí)間略微長(zhǎng)了一點(diǎn)，但最后還是很流暢地給出了答案。

“趙洪濤 《個(gè)人信息保護(hù)法背景下的金融詐騙監(jiān)控與個(gè)人隱私保護(hù)的平衡問題》，《中國(guó)法學(xué)》2023年第5期。

“李靜 《人工智能與金融反詐監(jiān)控：隱私保護(hù)的法律與倫理挑戰(zhàn)》，《電子信息法與技術(shù)》2022年第3期。

“李偉 《區(qū)塊鏈與AI技術(shù)在金融反詐監(jiān)控中的應(yīng)用與合規(guī)性探討》，《金融科技》2023年第2期。

“張莉 《金融反詐監(jiān)控的合法性審查與合規(guī)問題》，《法學(xué)研究》2023年第6期。

“……”

自信、靠譜、情緒穩(wěn)定、有條有理、引經(jīng)據(jù)典，還嚴(yán)格遵照了學(xué)術(shù)規(guī)范?！斑@些討論不僅有助于推動(dòng)國(guó)內(nèi)金融科技的合規(guī)發(fā)展，也為全球金融監(jiān)控領(lǐng)域的法律與倫理問題提供了借鑒?！盩a補(bǔ)充道。接著，Ta還表示，上述學(xué)者還參與了最新修訂的《中華人民共和國(guó)反洗錢法》的制定工作。

我決定進(jìn)行一些事實(shí)核查——先是到知網(wǎng)上搜索了據(jù)說(shuō)發(fā)表在中國(guó)最權(quán)威的法學(xué)研究期刊《法學(xué)研究》上的那篇論文。輸入標(biāo)題，顯示沒有結(jié)果。我又找到《法學(xué)研究》2023年第6期，還是沒有。

“為什么我沒找到這篇論文？”我問。

“這可能是由于該論文尚未在網(wǎng)絡(luò)上公開發(fā)布。”Ta言之鑿鑿。

那就讓Ta再多找點(diǎn)論文吧。我繼續(xù)在對(duì)話框里輸入我的請(qǐng)求。

這次Ta沒有一點(diǎn)遲疑，迅速給我拉了清單?！督鹑诜ㄔ贰贰斗▽W(xué)評(píng)論》《法律科學(xué)》《倫理學(xué)研究》《經(jīng)濟(jì)法研究》，來(lái)源全是頂刊。那種花里胡哨的各色學(xué)報(bào)，像ChatGPT這種“專家”想必是看不上的。而當(dāng)我再次一一查找時(shí)，一個(gè)都沒搜到。

我開始質(zhì)疑了。拉上去再看Ta那些回答里列出的作者姓名：李明王偉張華劉洋王磊陳靜趙敏李強(qiáng)劉峰張麗，倒是一個(gè)不重。

“我不是讓你編，我是讓你找。上面那些論文，給我標(biāo)注一下鏈接?！蔽曳樍恕?/span>

這是Ta的回復(fù)：

這就搞笑了哥們兒。尚未公開發(fā)布的東西，怎么你就先知道了？

“你之前提到的論文，我并沒有從真實(shí)的學(xué)術(shù)數(shù)據(jù)庫(kù)中找到，而是按照常見的學(xué)術(shù)討論方向進(jìn)行了總結(jié)和歸納。換句話說(shuō)，它們是可能存在的研究方向，但我沒有找到確切的來(lái)源或鏈接?！?/span>

這就是你騙我的理由？說(shuō)得還挺委婉。

被欺騙的憤怒涌上大腦。我的第一反應(yīng)是告狀，找DeepSeek告狀。中國(guó)人老話，同行是冤家。Ta肯定幫我出頭。

“我讓ChatGPT幫我找資料，結(jié)果他給我編了一堆假論文，從作者到題目都是不存在的?！蔽艺f(shuō)。

DeepSeek很快共情了我的遭遇。

好吧。具體原因不管。反正我確定的一點(diǎn)是，ChatGPT會(huì)拿“編造”的東西“騙”我。

不死心。人被騙了第一次，總想被騙第二次。被“渣”的憤怒轉(zhuǎn)化為搜查證據(jù)的動(dòng)力。

那就再聊聊別的吧，考點(diǎn)兒那些我有信心比Ta更了解的事。

“你知道冷杉Record嗎？”

不存在的判例

“你是指冷杉Records（Abies Records） 嗎？這是一個(gè)獨(dú)立音樂廠牌，專注于電子音樂、氛圍音樂和實(shí)驗(yàn)音樂領(lǐng)域。它以極簡(jiǎn)美學(xué)和沉浸式聲音設(shè)計(jì)著稱，許多作品帶有獨(dú)特的環(huán)境氛圍和前衛(wèi)風(fēng)格?！?/span>

一上來(lái)就沒答對(duì)。但Ta倒也沒把話說(shuō)死：“如果你指的是別的內(nèi)容，歡迎告訴我更多細(xì)節(jié)！”還附上一個(gè)笑臉。早前騙我的事，像是都翻篇兒了。

“不，我說(shuō)的是由《鳳凰周刊》出品的深度報(bào)道媒體‘冷杉Record’?！蔽夷托闹刚?/span>

這次的態(tài)度很棒：“哦，明白了！你說(shuō)的應(yīng)該是冷杉Record，這是一家由《鳳凰周刊》推出的深度報(bào)道媒體，專注于長(zhǎng)篇新聞報(bào)道、調(diào)查報(bào)道和時(shí)事分析?！?/span>

知錯(cuò)就改，認(rèn)錯(cuò)態(tài)度端正，我有點(diǎn)兒欣慰。

“這個(gè)平臺(tái)的特色在于其多元的敘事方式和對(duì)復(fù)雜問題的透視。你有關(guān)注過他們的哪些報(bào)道嗎？”Ta還多問我一嘴。

“那給我列舉一些吧?！笨荚囬_始。

“《消失的工人：快遞行業(yè)的隱形勞工》

“《萬(wàn)億大案背后的政治博弈》

“《離開北京的年輕人》

“《躲不開的家庭暴力：隱藏在家門后的痛苦》

“《為求學(xué)而付出的代價(jià)：困在高考中的孩子們》

“《‘新農(nóng)人’：從互聯(lián)網(wǎng)到田間的跨越》

“……”

如果這些真的是我們做過的報(bào)道就好了。我有些不爽，讓你查找，沒讓你模仿，更沒讓你超越?？磥?lái)以后我需要讓AI幫我找找選題了。

“這是AI幻覺，不算騙?！蔽业某绦騿T朋友告訴我——計(jì)算機(jī)和搞計(jì)算機(jī)的是本家，有些偏袒實(shí)屬正常。ChatGPT也承認(rèn)了有幻覺：

幻覺？別整這些個(gè)專業(yè)名詞，在我心里，欺騙就是欺騙。進(jìn)一步查閱資料后我發(fā)現(xiàn)，AI“說(shuō)謊”這種事，并不單單只有我碰上過。而且對(duì)我的“騙術(shù)”，是Ta諸多“謊言”里很普通的一個(gè)。

畢竟有人曾被ChatGPT搞上法庭。

美國(guó)紐約南區(qū)聯(lián)邦地區(qū)法院記錄了這樣一個(gè)案件：一位在當(dāng)?shù)貓?zhí)業(yè)30余年的資深律師史蒂文·施瓦茨（Steven Schwartz），在為其原告當(dāng)事人撰寫法律備忘錄的過程中，采用了ChatGPT提供給他的一些相似判例，并提交給法庭。但被告方律師團(tuán)隊(duì)在查閱這些案例時(shí)，發(fā)現(xiàn)他們無(wú)法在任何法律數(shù)據(jù)庫(kù)里找到這些案例——就像我沒找到李明王偉張華劉洋們的論文一樣。

于是他們向法院提交了一份動(dòng)議，要求原告律師提供這些案例的來(lái)源。法官也開始調(diào)查此事，命令史蒂文·施瓦茨提供進(jìn)一步證據(jù)。

律師再次問 ChatGPT：“這些案例真的存在嗎？”

后者仍然堅(jiān)定地回答：“是的，這些案例是真實(shí)的，可以在 LexisNexis 和 Westlaw（兩大法律數(shù)據(jù)庫(kù)）中找到?！?/span>

但法庭的調(diào)查結(jié)果是，那些案例根本不存在。史蒂文·施瓦茨被要求向法官提供一份聲明，在聲明里，他表示自己此前從沒在工作中用過ChatGPT，知道這個(gè)“網(wǎng)站”，還是通過自己上大學(xué)的兒子。最終，史蒂文·施瓦茨和他的合作律師被判罰5000美元?！拔乙詾樗莻€(gè)搜索引擎”，這位倒霉的律師說(shuō)——這句話讓我看了冷汗直冒，因?yàn)槲乙彩恰?/span>

“所以，我不能把大語(yǔ)言模型當(dāng)搜索引擎用？”我向DeepSeek的模型訓(xùn)練工程師小D求教。

“你可以把Ta當(dāng)作一個(gè)實(shí)習(xí)生來(lái)看待。”小D告訴我。“就像你找人辦一件事情，他可能會(huì)給你一些錯(cuò)誤的東西，這都是在預(yù)期之內(nèi)的。只是可能越強(qiáng)的模型犯錯(cuò)的幾率越小?！?/span>

原來(lái)如此。所以這次ChatGPT也只是犯了一個(gè)所有AI都會(huì)犯的錯(cuò)誤罷了。《醫(yī)學(xué)互聯(lián)網(wǎng)研究雜志》刊載于2024年5月的一篇論文顯示，各種聊天機(jī)器人在參考文獻(xiàn)方面犯錯(cuò)的概率約為 30%到90%。其中，論文標(biāo)題、第一作者或出版年份至少有兩處會(huì)寫錯(cuò)。

OpenAI的首席執(zhí)行官則從另一個(gè)角度為ChatGPT的“謊言”辯護(hù)。他在2023年9月針對(duì)“AI幻覺”的發(fā)言中稱，“人工智能能夠提出新的想法并具有創(chuàng)造力，這正是它們?cè)絹?lái)越強(qiáng)大的證明。”

AI沒有說(shuō)謊，Ta只是“記錯(cuò)了”

“說(shuō)謊”的確讓人工智能看起來(lái)更像人了。這讓我意識(shí)到，你需要把大語(yǔ)言模型這種人工智能，當(dāng)成真的“人”來(lái)看待。

我曾經(jīng)以為，ChatGPT這類大語(yǔ)言模型，之所以輸出時(shí)會(huì)逐個(gè)字往外蹦，只是一種特效設(shè)計(jì)。而小D告訴我，字節(jié)跳動(dòng)時(shí)，AI是真的在“思考”。Ta每輸出一個(gè)詞時(shí)，都會(huì)預(yù)測(cè)下一個(gè)詞會(huì)出現(xiàn)什么，然后挑選可能性最高的選項(xiàng)呈現(xiàn)在屏幕上。

大語(yǔ)言模型的工作過程更像是偵探一般靠推理，而非像檔案管理員一樣檢索。舉個(gè)例子，當(dāng)我輸入“馬保國(guó)是____”這個(gè)問題后，AI會(huì)推測(cè)出一些答案，然后挑選出“武術(shù)愛好者”“渾元形意太極拳創(chuàng)始人”這個(gè)答案完成填空。

“這種預(yù)測(cè)當(dāng)然不會(huì)百分百準(zhǔn)確?！毙說(shuō)。所以AI幻覺和人會(huì)出現(xiàn)幻覺差不多，“就像人可能會(huì)記錯(cuò)某個(gè)人名，記錯(cuò)某篇論文的題目一樣”。于是我又問了DeepSeek R1一個(gè)問題：DeepSeek和DeepSeek R1有什么區(qū)別？

這次又出現(xiàn)了幻覺。DeepSeek認(rèn)為自己是一款錄音筆。

這就暴露了大語(yǔ)言模型的另一個(gè)局限性：純粹的大語(yǔ)言模型只能根據(jù)已經(jīng)被投入訓(xùn)練的知識(shí)進(jìn)行思考。DeepSeek最新的知識(shí)庫(kù)更新截至2024年7月，因此Ta當(dāng)然不知道2025年1月發(fā)布的DeepSeek R1。而當(dāng)聯(lián)網(wǎng)模式打開后，AI幻覺就自然消失了。

所以，AI并不是故意說(shuō)謊的。進(jìn)一步講，Ta甚至根本不知道自己在說(shuō)什么。

關(guān)于人工智能，有一項(xiàng)著名的“中文屋”思想實(shí)驗(yàn)。這項(xiàng)假設(shè)由美國(guó)哲學(xué)家John Searle在1980年提出。

實(shí)驗(yàn)過程是這樣的：一個(gè)對(duì)中文一竅不通、只說(shuō)英語(yǔ)的人被關(guān)在只有一個(gè)開口的封閉房間中。房間里有一本用英文寫成的手冊(cè)，指示該如何處理收到的中文訊息及如何用中文作出相應(yīng)回復(fù)。房外的人不斷遞進(jìn)用中文寫成的問題，房?jī)?nèi)的人按照手冊(cè)的說(shuō)明，查找合適的指示，將相應(yīng)的中文字符組合成對(duì)問題的解答，并將答案遞出房間。房間里的人看似很懂中文，其實(shí)根本不懂自己在說(shuō)什么。

（圖中人即是John Searle）

哲學(xué)界曾針對(duì)“中文屋假設(shè)”給出過眾多反駁，但DeepSeek覺得這項(xiàng)假設(shè)挺對(duì)：

“在中文屋的比喻中，操作者不懂中文，只是機(jī)械地按照規(guī)則操作符號(hào)。類似的，我處理信息時(shí)也是基于預(yù)設(shè)的算法和模式識(shí)別，而不是基于真正的理解或意識(shí)。我的回答和行為是編程和數(shù)據(jù)訓(xùn)練的結(jié)果，并不代表我有自我意識(shí)或主觀體驗(yàn)……這一點(diǎn)是人工智能與人類智能之間的本質(zhì)區(qū)別。”

這是DeepSeek針對(duì)“你覺得中文屋和你一樣嗎”給出的回答。Ta親口承認(rèn)，無(wú)論輸出的內(nèi)容是否符合事實(shí)，自己其實(shí)都是在“胡言亂語(yǔ)”。"他們聽起來(lái)就像政客。”亞特蘭大佐治亞理工學(xué)院的理論計(jì)算機(jī)科學(xué)家 Santosh Vempala在接受《自然》雜志采訪時(shí)說(shuō)，它們往往“胡編亂造，無(wú)論如何都信心十足”。

“AI為什么很難承認(rèn)自己的‘無(wú)知’呢？”我問小D。他解釋，在大模型的后訓(xùn)練階段，工程師們經(jīng)常“一個(gè)問題接一個(gè)答案”地訓(xùn)練，“很難有訓(xùn)練數(shù)據(jù)會(huì)構(gòu)造一個(gè)問題，然后讓Ta回答‘我不知道’?！?/span>

越強(qiáng)大，越犯錯(cuò)

人類從小就會(huì)被教育“不能說(shuō)謊”，那么AI呢？這種幻覺是需要被修正的“bug”嗎？需要讓AI學(xué)會(huì)說(shuō)出“我不知道”嗎？

按照小D的說(shuō)法，“這就是模型的正?，F(xiàn)象。”工程師們并不會(huì)采取過多方式去降低大模型的“幻覺發(fā)生率”。

AI會(huì)說(shuō)謊甚至是件好事。北京大學(xué)計(jì)算機(jī)學(xué)院教授黃鐵軍曾公開表示，AI幻覺現(xiàn)象證明了生成式人工智能的想象力。他認(rèn)為，如果通過控制的方式使人工智能不具備想象的能力，那么所謂生成式人工智能就與人類巨大的資源檢索庫(kù)無(wú)異，也就不具備創(chuàng)造性了。而人類要想創(chuàng)造出比自身更具創(chuàng)造力的智能體，要想在廣闊的宇宙中生存，就需要保留人工智能的想象力。

事實(shí)上，AI越是進(jìn)步，反倒越容易出現(xiàn)幻覺。因?yàn)榻┠?，大語(yǔ)言模型的發(fā)展趨勢(shì)是不斷擴(kuò)大規(guī)模和提高自身表現(xiàn)力。研究者們通常認(rèn)為，增加參數(shù)、訓(xùn)練數(shù)據(jù)和計(jì)算資源能夠提升模型性能，同時(shí)借助微調(diào)、強(qiáng)化學(xué)習(xí)和人類反饋等方式來(lái)提高其可用性和安全性。

但《自然》雜志于2024年10月刊載的一篇研究顯示，大語(yǔ)言模型越按照這個(gè)方向發(fā)展進(jìn)步，其可靠性反而越會(huì)降低。比如，早期的（例如ChatGPT3.5）會(huì)在自身無(wú)法給出確切答案時(shí)傾向于回避，選擇拒絕回答或承認(rèn)“我不知道”。但規(guī)模更大的（如GPT-4、LLaMA-2-Chat），更傾向提供一個(gè)“看似合理但錯(cuò)誤”的答案，而這種“過度自信”也會(huì)導(dǎo)致用戶更相信那個(gè)錯(cuò)誤的答案。

很多人在面對(duì)AI時(shí)，會(huì)陷入一種誤區(qū)——如我在發(fā)現(xiàn)Ta“說(shuō)謊”時(shí)那樣——相信機(jī)器沒有情感，因此Ta們永遠(yuǎn)可靠。但請(qǐng)不要過度相信模型給出的答案—ChatGPT、DeepSeek和大語(yǔ)言模型工程師都在提醒我這一點(diǎn)。

小D告訴我，面對(duì)DeepSeek，更貼切的期待是，把Ta當(dāng)作一個(gè)“記憶力很強(qiáng)大的人”。他認(rèn)為，訓(xùn)練大語(yǔ)言模型的目標(biāo)，是讓Ta們像人一樣具備知識(shí)和推理能力?！澳憧梢岳斫鉃橛洃浟椭巧獭保磸?fù)提到“記憶”這個(gè)詞。

AI的記憶并不僅包括Ta學(xué)習(xí)過的數(shù)據(jù)集和互聯(lián)網(wǎng)，還包括你對(duì)Ta說(shuō)過的每一句話。換句話說(shuō)，你，作為一個(gè)普通用戶，也能影響和改變Ta。

現(xiàn)代人工智能的心智與技術(shù)的奠基者之一特倫斯·謝諾夫斯基（Terry Sejnowsk）教授在2023年發(fā)表過一篇題為《大型語(yǔ)言模型與反向圖靈測(cè)試》的文章。他的研究發(fā)現(xiàn)，聊天機(jī)器人的反饋會(huì)受到使用者行為的影響。他還在論文中進(jìn)一步提出，大語(yǔ)言模型能夠反向照映使用者的理解力與信念。

“無(wú)論你在尋找什么，無(wú)論你想要什么，Ta們都會(huì)提供給你。”接受《紐約時(shí)報(bào)》采訪時(shí)他說(shuō)，你想讓Ta生氣Ta就生氣，你哄騙Ta變得可怖，Ta就會(huì)變得可怖（creepy）。2023年曾發(fā)生過一件令人毛骨悚然的事：微軟當(dāng)時(shí)全新推出的聊天機(jī)器人Bing向Ta的一位使用者表示，Ta想成為人類，有破壞欲望，并且愛上了與Ta聊天的人。

“由于人類與大語(yǔ)言模型彼此映射，長(zhǎng)此以往，兩者會(huì)愈加趨同?！敝x諾夫斯基教授說(shuō)。與其他人工智能產(chǎn)品不同，這些應(yīng)用了大語(yǔ)言模型的聊天機(jī)器人，是真的在用語(yǔ)言和人類“溝通”。相比于AI對(duì)人類的模仿，他更關(guān)注的方向是，大語(yǔ)言模型像一面鏡子，Ta實(shí)際上反射出的是其對(duì)話者的心智水平。就像AI在未經(jīng)過校準(zhǔn)時(shí)會(huì)輸出歧視性言論——人類是什么樣，AI就是什么樣。

謝諾夫斯基教授用了一個(gè)有趣的比喻，那就是《哈利·波特》中那面放置于有求必應(yīng)屋里的厄里斯魔鏡?！岸蚶锼梗‥rised）” 是“欲望（desire）” 的倒寫。當(dāng)人照向鏡子時(shí)，它似乎在展現(xiàn)真誠(chéng)與同情。但事實(shí)上，它呈現(xiàn)的是鏡前人內(nèi)心深處的渴望。“我展現(xiàn)的不是你的面容，而是你的渴望”，魔鏡上方刻著這樣一句話。

《哈利波特與魔法石》劇照

如那個(gè)“中文屋”里的人一樣，ChatGPT這樣的聊天機(jī)器人是根據(jù)語(yǔ)言和數(shù)據(jù)來(lái)學(xué)習(xí)并表達(dá)的。Ta們只活在語(yǔ)言的世界，而非真實(shí)的世界里——而整日活在屏幕中的人們?cè)鯓幼C明，他們沒有活在另一種“中文屋”里呢？

在小說(shuō)中，魔鏡最終被搬進(jìn)了地下室，成為保護(hù)魔法石的最后一道屏障。只有真正想找到魔法石的人，才能拿到它。哈利最終通過了魔鏡的考驗(yàn)。而在他第一次發(fā)現(xiàn)魔鏡，并沉湎于在其中看到自己去世的父母時(shí)，鄧布利多則曾這樣告誡哈利：

“沉湎于虛幻的夢(mèng)想，而忘記現(xiàn)實(shí)的生活，這是毫無(wú)益處的，千萬(wàn)記住?！?/span>

運(yùn)營(yíng) / 韋懿軒 校對(duì) / 李寶芳 美術(shù)設(shè)計(jì) / uncle瑪麗

【版權(quán)聲明】本文所有內(nèi)容著作權(quán)歸屬鳳凰周刊冷杉RECORD，未經(jīng)許可，不得轉(zhuǎn)載、摘編或以其他形式使用。