潮聲丨AI偽造泛濫，真實(shí)何去何從？

2025-2-7 09:18| 發(fā)布者: admin| 查看: 129| 評(píng)論: 0

摘要: 潮新聞執(zhí)筆朱承假新聞，最近你碰到過嗎？不久前，兩封疑似AI生成的“重磅”信件引發(fā)網(wǎng)友大量轉(zhuǎn)載——一封署名英偉達(dá)CEO黃仁勛的內(nèi)部信表達(dá)對(duì)DeepSeek的看法；另一封“來自”DeepSeek CEO 梁文鋒對(duì)馮驥的公開回應(yīng)。 ...

潮新聞執(zhí)筆朱承

假新聞，最近你碰到過嗎？

不久前，兩封疑似AI生成的“重磅”信件引發(fā)網(wǎng)友大量轉(zhuǎn)載——

一封署名英偉達(dá)CEO黃仁勛的內(nèi)部信表達(dá)對(duì)DeepSeek的看法；另一封“來自”DeepSeek CEO 梁文鋒對(duì)馮驥的公開回應(yīng)。

乍一看信件文采斐然，自帶人文情懷，還挺像那么回事。幸好辟謠及時(shí)來到，明確說明信件完全是虛假捏造。

社交媒體截圖來自網(wǎng)絡(luò)

1月份，美國加利福尼亞州洛杉磯多地連續(xù)發(fā)生山火，“在加州山火中幸存的教堂”圖片、“好萊塢巨型標(biāo)志牌被加州山火吞沒”視頻等在社交媒體上廣泛流傳，均檢測出是人工智能生成或深度偽造的內(nèi)容。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

社交媒體截圖來自網(wǎng)絡(luò)

從災(zāi)難現(xiàn)場的虛假圖片到名人仿冒事件，AI發(fā)展這把雙刃劍，讓“眼見為實(shí)”這一固有信念遭受前所未有的挑戰(zhàn)。AI偽造如何產(chǎn)生？沖擊有多大？我們?cè)撊绾问刈o(hù)真實(shí)的邊界？

低門檻造假來勢洶洶

“假新聞并非新生事物，但AI大模型的崛起無疑大幅降低了造假的門檻?！闭憬髮W(xué)百人計(jì)劃研究員、博導(dǎo)王永威告訴記者，深度偽造技術(shù)（Deepfake）在全球范圍內(nèi)引發(fā)了廣泛關(guān)注。借助人工智能深度學(xué)習(xí)的力量，該技術(shù)能輕松合成逼真的圖片、視頻與聲音，實(shí)現(xiàn)換臉、視頻無縫合成及語音精準(zhǔn)模擬，創(chuàng)造出令人難辨真?zhèn)蔚膬?nèi)容。

王永威告訴記者，自2018年起，AI偽造現(xiàn)象便逐漸顯現(xiàn)，而時(shí)至今日，AI模擬真實(shí)世界的能力已顯著提升?！皬奈谋镜綀D像、視頻，技術(shù)的每一次飛躍都伴隨著生產(chǎn)力的提升與犯罪成本的降低?！?br>
如今，只需與AI智能助手進(jìn)行簡短對(duì)話，幾秒鐘內(nèi)便能生成一篇圖文并茂的假新聞。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

筆者1分鐘制造的AI假新聞 AI生成

潮聲丨AI偽造泛濫，真實(shí)何去何從？

筆者1分鐘制造的AI假新聞圖片 AI生成

據(jù)澎湃新聞報(bào)道，浙江紹興警方曾抓獲一個(gè)利用ChatGPT制作虛假新聞的團(tuán)伙，其中就有此前從未接觸過電腦技術(shù)、僅有初中學(xué)歷的成員。正是憑借易上手的AI大模型，這名成員無需學(xué)會(huì)“腳本”“拍攝”“配音”，就能像流水線一樣批量生成一堆AI假新聞。

暴力沖突、災(zāi)難現(xiàn)場、階層矛盾、性別對(duì)立等社會(huì)熱點(diǎn)議題，往往成為AI假新聞的重災(zāi)區(qū)。

當(dāng)算法裹挾著這些“情緒飽滿”的肉眼難辨的假新聞定向推送到你我面前時(shí)，大多數(shù)人往往被情緒所左右，不假思索地點(diǎn)贊、轉(zhuǎn)發(fā)，不經(jīng)意間成為謠言傳播的幫兇。

俗話說“造謠一張嘴，辟謠跑斷腿”。若要驗(yàn)證一條新聞的真實(shí)性，公檢法部門、媒體等需要調(diào)動(dòng)大量資源，被造謠者則往往會(huì)陷入無盡的自證陷阱。等到一切水落石出，假新聞早已環(huán)游世界，“吃飽”流量，賺得盆滿缽滿。

AI偽造，不只騙取你的情感和流量，更把手伸向你的錢包。

螞蟻集團(tuán)AI核身安全負(fù)責(zé)人劉健告訴記者，AI的終極目標(biāo)是模擬真實(shí)世界，其模擬物理和生物信息的能力會(huì)變得越來越強(qiáng)大，一些定制化的詐騙更是讓人防不勝防。

比如2024年香港一家公司財(cái)務(wù)被AI仿造的“高管”通過視頻會(huì)議騙取2億港元，這是一個(gè)定制化的AI詐騙局，除了本人，整個(gè)視頻會(huì)議參與者全是騙子。在他研究的案例中，還有AI換臉偽造成家人、同事電信詐騙，偽造電子身份憑證線上交易，利用AI技術(shù)偽造活體視頻突破認(rèn)證等等。

“AI偽造給社會(huì)帶來最嚴(yán)峻的挑戰(zhàn)，我認(rèn)為是信任體系的崩塌?！眲⒔》治?，就像那則“狼來了”的經(jīng)典寓言，面對(duì)大量虛假的信息，我們或許會(huì)因?yàn)殡y以分辨真?zhèn)?，而逐漸變得麻木，它有可能悄然侵蝕人類社會(huì)的溫情與關(guān)懷。尤其對(duì)于互聯(lián)網(wǎng)原住民來說，數(shù)字世界里，還能相信什么？

AI打敗AI？

有攻必有防。面對(duì)來勢洶洶的AI偽造，一些科技企業(yè)率先筑起防線。

宇視科技近些年在AIoT智能物聯(lián)領(lǐng)域取得了不少研發(fā)突破。該公司云智能及業(yè)軟產(chǎn)品部部長陶沁沁向我們揭示了AI偽造的新趨勢：從數(shù)字領(lǐng)域悄然滲透至物理世界。有犯罪分子利用真人照片AI生成的3D結(jié)構(gòu)模型，制作成人臉頭套，用于非法解鎖和詐騙。為應(yīng)對(duì)這一挑戰(zhàn)，宇視科技開發(fā)了3D結(jié)構(gòu)光技術(shù)，通過大模型訓(xùn)練，確保只有本人活體才能通過識(shí)別。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

宇視科技3D結(jié)構(gòu)光技術(shù)應(yīng)對(duì)真人照片受訪者供圖

潮聲丨AI偽造泛濫，真實(shí)何去何從？

宇視科技3D結(jié)構(gòu)光技術(shù)應(yīng)對(duì)3D結(jié)構(gòu)模型受訪者供圖

“我們的攝像頭配備AI大模型，經(jīng)過多輪優(yōu)化訓(xùn)練，在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)出色，能識(shí)別真人面部輪廓變化，結(jié)合多種驗(yàn)證手段，確保精準(zhǔn)判斷?！碧涨咔弑硎尽?br>
螞蟻集團(tuán)AI核身安全團(tuán)隊(duì)采取三大策略，來應(yīng)對(duì)AI深度偽造挑戰(zhàn)——不變應(yīng)萬變、交互邏輯以及持續(xù)監(jiān)測?！安蛔儜?yīng)萬變就是通過AI防偽大模型識(shí)別真實(shí)世界中的共性，異常即判別偽造；交互邏輯是指通過隨機(jī)實(shí)時(shí)交互增加造假難度，例如高風(fēng)險(xiǎn)場景中的AI實(shí)時(shí)視頻電話進(jìn)行驗(yàn)證；持續(xù)監(jiān)測則是實(shí)時(shí)監(jiān)控異常行為，及時(shí)阻止造假?！?劉健解釋，為此，螞蟻集團(tuán)也研發(fā)推出了以安全防偽大模型為基礎(chǔ)的新一代AI核身平臺(tái)，包含AI鑒真的光鑒等產(chǎn)品。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

螞蟻集團(tuán)AI鑒真產(chǎn)品受訪者供圖

此外，除了不斷迭代技術(shù)應(yīng)對(duì)攻擊，螞蟻集團(tuán)還通過堅(jiān)持“你敢付我敢賠”的承諾，兜底用戶損失，以重塑用戶對(duì)數(shù)字安全的信心。

守護(hù)AI向善，不僅僅需要企業(yè)在應(yīng)用層面設(shè)好防火墻，還需要更多高校、科研院所以及更多社會(huì)力量的加入，以提升行業(yè)的整體水平。

劉健告訴記者，螞蟻集團(tuán)通過舉辦比賽推動(dòng)技術(shù)進(jìn)步，比如2024年外灘大會(huì)首次舉辦的“全球Deepfake（深度偽造）攻防挑戰(zhàn)賽”，吸引了全球2200多名參賽者。令人鼓舞的是，比賽中，中科院一支隊(duì)伍開源了其獲獎(jiǎng)作品“Deepfake檢測模型”，獲得了澳門大學(xué)、中國海洋大學(xué)等近百名選手及所在隊(duì)伍響應(yīng)，接力開源代碼，共同援助受害者，守護(hù)真實(shí)世界。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

全球Deepfake（深度偽造）攻防挑戰(zhàn)賽受訪者供圖

在浙江，浙江大學(xué)王永威團(tuán)隊(duì)的成果同樣令人矚目。

“我們提出了一種無需訓(xùn)練即可檢測AI合成文本的方法。”王永威告訴記者，他們通過單詞預(yù)測的概率分布判斷文章是否由AI生成，其準(zhǔn)確率超過美國商用文本檢測模型GPTZero 近6個(gè)百分點(diǎn)，并支持跨語種檢測，這一成果已被人工智能頂級(jí)學(xué)術(shù)會(huì)議ICLR 2025錄用。而在AI合成圖像檢測方面，該團(tuán)隊(duì)研發(fā)的六個(gè)專家模型，能夠綜合多個(gè)維度的檢測特征，能對(duì)當(dāng)前流行的近20種生成模型進(jìn)行鑒偽，準(zhǔn)確率達(dá)到92%，處于世界領(lǐng)先水平。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

王永威團(tuán)隊(duì)ICLR論文的首頁截圖受訪者供圖

潮聲丨AI偽造泛濫，真實(shí)何去何從？

王永威團(tuán)隊(duì)方法截圖受訪者供圖

目前，王永威團(tuán)隊(duì)已經(jīng)推動(dòng)了部分技術(shù)應(yīng)用落地，如高校論文鑒偽、內(nèi)容審核等，未來還將向更多領(lǐng)域拓展。

每個(gè)人都是戰(zhàn)士

守護(hù)AI安全，不僅僅是技術(shù)上的事兒。

“AI攻防就像‘矛和盾’，是一個(gè)持續(xù)博弈的循環(huán)過程?！眲⒔≌J(rèn)為，由于技術(shù)發(fā)展存在局限性和周期性，難免會(huì)遇到“魔高一丈”防御失靈所產(chǎn)生的損失，就亟需構(gòu)建一個(gè)超越單純技術(shù)層面的，涵蓋監(jiān)管、法律、制度及教育等多維度的綜合性社會(huì)防護(hù)網(wǎng)，攜手共筑AI安全的堅(jiān)固防線。

劉健建議，要從源頭管理、信息傳播鏈路的監(jiān)控以及防控機(jī)制的建立三個(gè)維度出發(fā)，構(gòu)建全面且細(xì)致的法制框架，做到有法可依、有據(jù)可查，并且不應(yīng)僅限于事后處理，而應(yīng)在事前建立機(jī)制，通過提高違法成本，形成強(qiáng)大的震懾力，從源頭上遏制風(fēng)險(xiǎn)。

例如源頭的AIGC服務(wù)商需強(qiáng)化內(nèi)容把控，利用水印等技術(shù)手段實(shí)現(xiàn)內(nèi)容的可追溯性；社交平臺(tái)則需承擔(dān)起內(nèi)容核實(shí)與篩查的責(zé)任，阻斷虛假信息的流通渠道；同時(shí)，權(quán)威機(jī)構(gòu)與國際組織可攜手建立信息可信聯(lián)盟，確保鑒定與舉證過程的透明與高效。

令人鼓舞的是，從政府到平臺(tái)，一系列積極舉措正逐步展開并持續(xù)優(yōu)化。例如我國2023年實(shí)施的《互聯(lián)網(wǎng)信息服務(wù)深度合成規(guī)定》，明確要求深度合成服務(wù)提供者履行安全評(píng)估及配合檢查的責(zé)任。微信等平臺(tái)也積極響應(yīng)，通過打擊AI仿冒名人營銷等行動(dòng)，展現(xiàn)了維護(hù)網(wǎng)絡(luò)清朗空間的決心與成效。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

微信近期發(fā)布的打擊AI仿冒名人營銷公告截圖

“公眾對(duì)于AI虛假內(nèi)容的辨別能力同樣不容忽視。”王永威強(qiáng)調(diào)教育在防范AI偽造中的重要性，認(rèn)為公眾需了解基本概念和鑒偽方法。他透露，團(tuán)隊(duì)正籌備實(shí)驗(yàn)室，通過科普AI偽造技術(shù)和案例，提升公眾認(rèn)知與防范意識(shí)，教會(huì)大眾識(shí)別常見手法，培養(yǎng)警惕心理，減少虛假信息傳播。

潮聲丨AI偽造泛濫，真實(shí)何去何從？

社交媒體截圖來自網(wǎng)絡(luò)

劉健將肉眼識(shí)別AI偽造比作“找茬游戲”。他指出，“比如生物學(xué)上的不合理之處，地震小男孩有六個(gè)手指這種細(xì)節(jié)，或是光影效果不符合物理學(xué)原理?！?所有圖像由像素組成，質(zhì)感異常也是線索之一。普通人可以關(guān)注圖像精細(xì)化細(xì)節(jié)、生物合理性及物理特性，利用這些線索辨別虛假信息，增強(qiáng)鑒別能力，應(yīng)對(duì)復(fù)雜的AI偽造挑戰(zhàn)。這樣，公眾可以更好地保護(hù)自己免受虛假信息的影響。

“AI大模型是一把雙刃劍，如何用好它取決于使用者的意圖與行為?！碧涨咔吆粲酰珹I安全的守護(hù)是一項(xiàng)系統(tǒng)工程，需要政府、企業(yè)、公眾等多方面的共同努力與智慧碰撞。在這場沒有硝煙的戰(zhàn)爭中，每一方都是不可或缺的戰(zhàn)士，共同編織著一張守護(hù)數(shù)字時(shí)代安全的密網(wǎng)。

“轉(zhuǎn)載請(qǐng)注明出處”