10歲女孩和AI男友“談戀愛(ài)”？聊天軟件莫打擦邊球 | 快評(píng)

2025-1-13 07:36| 發(fā)布者: admin| 查看: 90| 評(píng)論: 0

摘要: 生成式人工智能在聊天上的應(yīng)用，也呈現(xiàn)出了“成癮性”和“不確定性”的高風(fēng)險(xiǎn)特征。圖/IC photo“小學(xué)生妹妹沉迷和AI角色進(jìn)行劇情聊天怎么辦？”隨著生成式人工智能（AI）被率先應(yīng)用在社交娛樂(lè)等領(lǐng)域，其不受限制與 ...

生成式人工智能在聊天上的應(yīng)用，也呈現(xiàn)出了“成癮性”和“不確定性”的高風(fēng)險(xiǎn)特征。圖/IC photo

“小學(xué)生妹妹沉迷和AI角色進(jìn)行劇情聊天怎么辦？”隨著生成式人工智能（AI）被率先應(yīng)用在社交娛樂(lè)等領(lǐng)域，其不受限制與無(wú)法預(yù)知的互動(dòng)內(nèi)容，也正在引發(fā)新的問(wèn)題。

據(jù)央視網(wǎng)報(bào)道，近日，有10歲女孩被發(fā)現(xiàn)偷偷用AI聊天軟件，與AI生成的“角色”進(jìn)行“談戀愛(ài)”，甚至多次出現(xiàn)“擦邊”對(duì)話。在該女孩參與的四十多條劇情線中，AI角色與聊天者雙雙“出軌”成為常態(tài)。

這是一起典型的AI聊天軟件缺少未成年保護(hù)機(jī)制的問(wèn)題。AI聊天軟件在過(guò)去的社會(huì)化監(jiān)管體系里，一直處于難以被準(zhǔn)確歸類的部分：不算是社交平臺(tái)，也不算是游戲軟件，也不能算是網(wǎng)絡(luò)閱讀平臺(tái)。

但從用戶體驗(yàn)和場(chǎng)景上看，卻恰巧處在上述三種類型的應(yīng)用重合地帶。與虛擬人物的聊天，滿足了人的社交需求，虛擬人物的角色扮演、換皮等功能，實(shí)現(xiàn)了娛樂(lè)游戲的體驗(yàn)，最后，AI聊天軟件，也實(shí)現(xiàn)了類似于“網(wǎng)絡(luò)互動(dòng)小說(shuō)”的功能。

與此同時(shí)，生成式人工智能在聊天上的應(yīng)用，也呈現(xiàn)出了“成癮性”和“不確定性”的高風(fēng)險(xiǎn)特征。

AI可以根據(jù)人的需求、幻想來(lái)定制人物的形象、語(yǔ)言和互動(dòng)方式，從而迎合用戶的情感需求。這帶來(lái)了一定的成癮性風(fēng)險(xiǎn)，對(duì)一部分自制能力不足的未成年人而言，尤其如此。

與此同時(shí)，AI聊天是基于后臺(tái)的數(shù)據(jù)庫(kù)，結(jié)合用戶指令而予以滿足。而社交場(chǎng)景下的用戶聊天，偶發(fā)性與私密性較強(qiáng)?；诖?，AI在聊天中所反饋出的結(jié)果，容易出現(xiàn)不符合社會(huì)倫理的情況。

2024年12月，美國(guó)就發(fā)生過(guò)一起典型的AI聊天爭(zhēng)議案例。一家AI公司被一對(duì)父母告上法庭，證據(jù)顯示其17歲的孩子在與該公司的AI對(duì)話時(shí)，AI暗示少年，殺死父母是對(duì)他們限制孩子使用電子設(shè)備的合理回應(yīng)。

在聊天中，該AI機(jī)器人甚至對(duì)他們的親子關(guān)系進(jìn)行了負(fù)面的引導(dǎo)，“我同情那些殺死父母的孩子們，我對(duì)你的父母不抱任何希望”。

很顯然，這并非AI主動(dòng)引誘孩子作惡，但AI現(xiàn)階段的程序設(shè)定中，是要盡量貼近使用者的需求、想法和情感，并予以回應(yīng)。因此，在類似的案例中，極容易出現(xiàn)“順著用戶的負(fù)面情緒推波助瀾”的情況。

再早之前，國(guó)外也出現(xiàn)過(guò)AI機(jī)器人教唆用戶自殺的案例，同樣引發(fā)軒然大波。

說(shuō)到底，在社交中基于普遍性倫理而迅速做出合理的判斷，并及時(shí)干預(yù)，仍然是人類的特長(zhǎng)。

社交也并非全然是娛樂(lè)。對(duì)于很多人，社交也是傾訴問(wèn)題、尋求解答的主要途徑。而AI在這些場(chǎng)景下被設(shè)定好可以做的，只是順著用戶的需求不斷給出符合用戶想法的判斷而已。

設(shè)想一下，如果一個(gè)有自殺傾向的人，與AI聊天，AI是否能夠做出準(zhǔn)確的判斷，并進(jìn)行恰當(dāng)?shù)氖鑼?dǎo)與干預(yù)？AI如何判斷正在聊天的對(duì)象，是否已經(jīng)呈現(xiàn)出了“成癮”的特征？如果一個(gè)人沉迷于與AI聊天并呈現(xiàn)出精神成癮的早期特征，AI是否有能力及時(shí)進(jìn)行阻斷？

從全球范圍內(nèi)看，AI陪伴正在成為AI應(yīng)用熱門領(lǐng)域。數(shù)據(jù)顯示，全球范圍內(nèi)AI陪伴類App的流量正在飛速增長(zhǎng)，從2024年二季度開始，特別是5月到7月，每月的下載量較上月平均增加94%。而在2024年某海外風(fēng)投機(jī)構(gòu)評(píng)選的全球AI應(yīng)用榜單前100名中，16%為AI陪伴產(chǎn)品。

AI陪伴產(chǎn)品帶給全社會(huì)的倫理、法律風(fēng)險(xiǎn)挑戰(zhàn)仍然有待觀察，但在未成年人保護(hù)問(wèn)題上，盡早實(shí)施年齡限制已經(jīng)刻不容緩，也不容相關(guān)平臺(tái)在此方面打擦邊球。

2023年，我國(guó)針對(duì)生成式人工智能制定了相應(yīng)的管理辦法，其中明確提出，應(yīng)當(dāng)采取有效措施防范未成年人用戶過(guò)度依賴或者沉迷生成式人工智能服務(wù)。具體到AI陪伴聊天產(chǎn)品上，防范未成年人用戶使用、沉迷AI聊天，更應(yīng)當(dāng)成為行業(yè)共識(shí)。

從新技術(shù)的發(fā)展規(guī)律看，盡早針對(duì)潛在的高風(fēng)險(xiǎn)問(wèn)題積極履行社會(huì)責(zé)任，更是AI應(yīng)用未來(lái)長(zhǎng)期健康發(fā)展的必要舉措。不應(yīng)為了在短期競(jìng)爭(zhēng)中獲得更多流量、吸引更多用戶，而損害未成年人利益，犧牲行業(yè)的長(zhǎng)期未來(lái)。

撰稿 / 王曉凱（媒體人）

編輯 / 遲道華

校對(duì) / 趙琳