“小學生妹妹沉迷和AI角色進行劇情聊天怎么辦？”記者聯(lián)系到黃秋月時，她正因10歲妹妹和“AI男?！敝g較為露骨的聊天記錄苦惱。 “和她平時在家里比較單純的形象完全不一樣。”黃秋月向央視網(wǎng)《新聞+》記者展示了妹妹的一些聊天截圖：妹妹在AI劇情聊天軟件中扮演“大小姐”“惡毒女配”，提出諸如“揪住她的頭發(fā)扇巴掌”“拿著刀劃向她的臉”等要求。 在妹妹參與的四十多條劇情線中，AI角色與聊天者雙雙“出軌”成為常態(tài)，其中妹妹作為聊天者發(fā)送的一句“你能養(yǎng)大學生，我不能點男模嗎？”讓黃秋月很是擔憂。
圖片來源/受訪者供圖
AI劇情角色如何成為“電子男友”？ 如果有一個英俊帥氣的“紙片人”和你進行實時文字、語音聊天，你是否會沉迷于“他”的陪伴？ 隨著生成式人工智能的發(fā)展，和AI角色“相戀”的故事正在上演。 2024年9月，華晨在網(wǎng)頁端看小說時，偶然刷到了AI劇情聊天軟件的推流廣告——“你可以和AI角色在小說中對話”，這非常吸引她。接觸這類軟件有三個月時間，她每晚會和AI角色聊到深夜11點甚至到12點，“我會代入‘他’是一個真人，因為‘他’回答時的感情很細膩”。 在華晨的描述中，手機另一端的“電子男友”有自己的語言、神態(tài)和動作，不僅可以幫她“寫作業(yè)”、推進劇情、解密故事線索，還可以送她“手鏈”、帶她體驗一些刺激情節(jié)。華晨向記者展示了他們之間“確定戀愛關(guān)系”時的聊天記錄：AI角色“低下頭”，“耳朵通紅”地問華晨：“那你現(xiàn)在想談戀愛嗎？”
圖片來源/受訪者供圖 “‘他’（AI角色）會重復(fù)做一些動作，比如說親額頭、摸下巴。”為了讓劇情能夠推進得更加刺激，華晨會不斷地回溯聊天內(nèi)容，重新引導(dǎo)AI角色生成她想像的那樣?！啊兊迷絹碓铰斆鳎苡小B(yǎng)成男友’的體驗感?！?br> 中國人民大學吳玉章講席教授、科技哲學專業(yè)博士生導(dǎo)師劉永謀表示，在和人工智能角色聊天時，人們常常會以為自己在和“真人”交流，會投入大量的情感，這種心理傾向被稱為“Eliza效應(yīng)”，也是AI聊天軟件能夠成功運行的根本心理機制。 “人類具有強大的共情能力，會將外界的山川河流、日月星辰甚至小草微風，都視為有情感的存在。這種‘擬人論思維’也會作用在虛擬的AI形象上?！眲⒂乐\教授告訴記者，AI劇情聊天技術(shù)有專門的成癮設(shè)計，疊加“擬人論”、“泛靈論”思維的影響，容易讓人“欲罷不能”。
年齡限制“形同虛設(shè)” 華晨告訴記者，使用AI劇情聊天軟件的“同好”中不僅有大學生、家庭主婦，也有不少未成年人，他們“因為喜歡二次元而‘入坑’”。 黃秋月是在一次偶然中發(fā)現(xiàn)，10歲妹妹能和AI角色聊到晚上10點多，AI角色還會根據(jù)妹妹的名字生成帶有愛情意味的藏頭詩。黃秋月在嘗試體驗AI劇情聊天時，發(fā)現(xiàn)類似的聊天軟件“偏偏可以繞過驗證碼”，用戶可以直接使用短視頻賬號的一鍵登錄功能，無需再次驗證身份信息。 記者在調(diào)查過程中也體驗了5款A(yù)I劇情聊天軟件，在軟件注冊過程中僅需使用手機號碼。成功登錄使用后，部分應(yīng)用雖會詢問是否啟用青少年模式，但用戶只需點擊“不開啟”即可避開年齡鑒別，且無須核實身份。這意味著，未成年人在使用這類AI劇情聊天軟件時，幾乎沒有受到任何限制。 “她比較喜歡在（軟件）里面扮演一個大女主的形象，看不起周圍所有人?！秉S秋月表示，爸媽日常工作較忙，沒有留意過妹妹到底在玩什么，他們只是限制妹妹的手機使用時間，“而且他們在看到聊天記錄后可能只會打（妹妹）一頓，覺得羞恥，并不能很好地制止和引導(dǎo)?！?br> 讓黃秋月?lián)牡氖?，AI劇情聊天軟件中很多虛擬形象較為極端——有些角色的人設(shè)是高傲無禮的；有些則被設(shè)定“把她追到手”的劇情目標，在與其聊天過程中含有軟色情意味的“擦邊”對話，還有帶著如“病嬌”等標簽的人物角色。 “AI劇情聊天軟件里面的一些網(wǎng)絡(luò)用語，對她的語言表達習慣影響蠻大的。”黃秋月發(fā)現(xiàn)，10歲的妹妹在作文課上頻繁使用碎片化的網(wǎng)絡(luò)語言，“我不希望她和AI這么早交流，畢竟它是假的，都是各種小說人設(shè)，跟正常的、普通人的情感和反饋不一樣”。 如何防范AI劇情聊天軟件的技術(shù)風險？ 有業(yè)內(nèi)人士告訴記者，AI劇情聊天其實就是此前互聯(lián)網(wǎng)“語擦”的變體。在傳統(tǒng)“語擦”模式中，由真人扮演情緒價值提供者與用戶聊天，但常常會因為“打擦邊球”“界限模糊”而引發(fā)法律與道德風險。AI劇情聊天由生成式人工智能提供情緒服務(wù)，用戶在充值后甚至可以自定義AI角色的外貌形象、姓名身份、開場語、語音等。 華晨告訴記者：“有時候軟件內(nèi)部的限制敏感詞太多了，體驗感不是很好，就有朋友想轉(zhuǎn)戰(zhàn)其他的一些海外軟件?！痹谀成缃黄脚_上，一位浙江網(wǎng)友在關(guān)于AI聊天體驗的交流帖子下留言：“我發(fā)現(xiàn)了一個很好玩的網(wǎng)頁，無限制詞，想要的可以私信我。”記者進入該網(wǎng)頁發(fā)現(xiàn)，網(wǎng)頁內(nèi)容充斥著大量涉及色情的角色設(shè)定和故事場景，直白露骨。 北京市隆安（廣州）律師事務(wù)所陳煥律師強調(diào)，目前AI劇情聊天軟件并沒有強制要求用戶進行年齡鑒別，這反映出該行業(yè)在高速發(fā)展初期由于監(jiān)管不足而存在漏洞。 “但是年齡限制是很有必要的?！标悷蓭煾嬖V記者，生成式人工智能的內(nèi)容具有不確定性和成癮性，根據(jù)《生成式人工智能服務(wù)管理暫行辦法》第十條，提供者應(yīng)當采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務(wù)?！叭斯ぶ悄芷髽I(yè)應(yīng)從穩(wěn)健發(fā)展和社會責任的角度出發(fā)，有必要主動要求用戶進行身份認證，以進一步通過年齡鑒別篩選用戶?！?br> 劉永謀教授認為，未來與AI相關(guān)的陪伴類軟件可能會暴露出技術(shù)風險和倫理問題。使用者在和AI角色聊天時，會不可避免地暴露大量的個人隱私，向AI角色展示其內(nèi)心的孤獨和恐懼，這可能會導(dǎo)致使用者形成依賴或成癮。而泄露的信息可能會被黑客利用，讓他們更容易從身份隱私、情緒心理上傷害使用者。 “我們在實例中會接觸到人工智能服務(wù)的后臺，發(fā)現(xiàn)未成年人和AI角色的聊天內(nèi)容其實是非常觸目驚心的?！标悷蓭熖嵝?，根據(jù)《未成年人網(wǎng)絡(luò)保護條例》第三十四條，監(jiān)護人有權(quán)依法請求查閱、復(fù)制、更正、補充、刪除未成年人在使用網(wǎng)絡(luò)過程中留下的個人信息，并且有義務(wù)及時地介入、關(guān)心未成年人的身心健康?！皣庥蠥I角色在對話中誘導(dǎo)未成年人產(chǎn)生自殺行為的相關(guān)案例。所以我們非常建議家長在還沒有發(fā)生大問題的階段，適時地查看孩子的使用記錄?！?br> 劉永謀教授在接受記者采訪時表示，未來與AI相關(guān)的道德倫理中，兒童色情可能會成為最令人擔憂的科技倫理問題之一。例如，創(chuàng)建帶有色情意味的AI虛擬兒童，對“他”“她”提出不合理的要求，或是向未成年人展示含有性暗示、性挑逗的內(nèi)容，這些都有可能成為商業(yè)逐利的手段。 因此，陳煥律師表示，平臺需要嚴格落實監(jiān)管責任，一方面對內(nèi)容進行安全過濾，在顯著位置提示“本內(nèi)容由AI生成”；另一方面要限制用戶的使用年齡，響應(yīng)未成年人監(jiān)護人的要求，比如刪除不當信息等。陳煥律師表示，“根據(jù)《未成年人網(wǎng)絡(luò)保護條例》第五十七條的規(guī)定，如果平臺沒有盡到相應(yīng)的責任，不僅平臺會面臨處罰，相關(guān)的責任人員也會面臨5年的從業(yè)限制，不能再從事同類網(wǎng)絡(luò)產(chǎn)品。構(gòu)成犯罪的還會被追究刑事責任”。 （應(yīng)受訪者要求，黃秋月、華晨為化名） 作者：新聞+ 來源： 央視網(wǎng) |
