研究揭示AI對(duì)話方面的缺陷：不知道何時(shí)該插話

2024-11-13 17:36| 發(fā)布者: admin| 查看: 111| 評(píng)論: 0

摘要: IT之家 11 月 11 日消息，圖夫茨大學(xué)的研究人員發(fā)現(xiàn)，大型語(yǔ)言模型在對(duì)話中的“插話”方面普遍表現(xiàn)不佳，這限制了它們的對(duì)話能力。據(jù)IT之家了解，2024 年 11 月 12 日至 16 日在邁阿密舉行的自然語(yǔ)言處理經(jīng)驗(yàn)方法會(huì) ...

IT之家 11 月 11 日消息，圖夫茨大學(xué)的研究人員發(fā)現(xiàn)，大型語(yǔ)言模型在對(duì)話中的“插話”方面普遍表現(xiàn)不佳，這限制了它們的對(duì)話能力。

據(jù)IT之家了解，2024 年 11 月 12 日至 16 日在邁阿密舉行的自然語(yǔ)言處理經(jīng)驗(yàn)方法會(huì)議（EMNLP 2024）上，圖夫茨大學(xué)的語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)研究人員將介紹一項(xiàng)研究，該研究揭示了人工智能對(duì)話能力的不足之處，并指出了改進(jìn)其對(duì)話能力的可能途徑。這項(xiàng)研究結(jié)果已發(fā)表在 arXiv 預(yù)印本服務(wù)器上。

人類在對(duì)話中通常會(huì)避免同時(shí)說(shuō)話，輪流發(fā)言和傾聽(tīng)。每個(gè)人都會(huì)評(píng)估許多輸入線索，以確定語(yǔ)言學(xué)家所謂的“話輪轉(zhuǎn)換點(diǎn)”（TRP），可以理解為插話的合適時(shí)機(jī)。TRP 在對(duì)話中經(jīng)常出現(xiàn)，許多時(shí)候我們會(huì)略過(guò)一個(gè) TRP，讓說(shuō)話者繼續(xù)。其他時(shí)候，我們會(huì)利用 TRP 來(lái)輪流發(fā)言，分享我們的想法。

研究揭示AI對(duì)話方面的缺陷：不知道何時(shí)該插話

長(zhǎng)期以來(lái)，人們認(rèn)為對(duì)話中的“副語(yǔ)言”信息 —— 語(yǔ)調(diào)、單詞和短語(yǔ)的延長(zhǎng)、停頓和一些視覺(jué)線索 —— 是識(shí)別 TRP 最重要的信號(hào)。然而，圖夫茨大學(xué)心理學(xué)和計(jì)算機(jī)科學(xué)教授 JP de Ruiter 表示，如果去掉單詞，只給人們提供韻律 —— 就像你隔著襪子說(shuō)話時(shí)傳出的那種言語(yǔ)的旋律和節(jié)奏，他們就無(wú)法再察覺(jué)出合適的 TRP。

相反，如果只以單調(diào)的語(yǔ)音提供語(yǔ)言內(nèi)容，研究對(duì)象將在其中找到大部分與自然語(yǔ)音中相同的 TRP。這表明，對(duì)話中輪流發(fā)言最重要的線索是語(yǔ)言內(nèi)容本身，而停頓和其他線索并不那么重要。

人工智能擅長(zhǎng)檢測(cè)內(nèi)容中的模式，但無(wú)法以接近人類的能力檢測(cè)到合適的 TRP。

原因在于 AI 的訓(xùn)練數(shù)據(jù)。大型語(yǔ)言模型，包括最先進(jìn)的 ChatGPT，都是基于互聯(lián)網(wǎng)上的大量書(shū)面內(nèi)容進(jìn)行訓(xùn)練的，包括維基百科條目、在線討論組、公司網(wǎng)站、新聞網(wǎng)站等。

這些數(shù)據(jù)集中缺少大量轉(zhuǎn)錄的口語(yǔ)對(duì)話，這些對(duì)話是即興的，使用更簡(jiǎn)單的詞匯和更短的句子，結(jié)構(gòu)也與書(shū)面語(yǔ)言不同。AI 不是在對(duì)話中“成長(zhǎng)”起來(lái)的，因此它沒(méi)有能力以更自然、更人性化的方式建?；騾⑴c對(duì)話。

研究人員認(rèn)為，可以通過(guò)對(duì)基于書(shū)面內(nèi)容訓(xùn)練的大型語(yǔ)言模型進(jìn)行微調(diào)，并用一小組對(duì)話內(nèi)容進(jìn)行額外訓(xùn)練，使其能夠更自然地參與新的對(duì)話。然而，當(dāng)他們嘗試這樣做時(shí)，發(fā)現(xiàn)仍然存在一些限制，無(wú)法完全復(fù)制人類般的對(duì)話。

研究人員警告稱，AI 進(jìn)行自然對(duì)話可能存在根本性的限制。它們是基于膚淺的統(tǒng)計(jì)相關(guān)性來(lái)預(yù)測(cè)下一個(gè)單詞，但輪流發(fā)言涉及到從對(duì)話更深層次的語(yǔ)境中汲取信息，也就是說(shuō)，AI 可能無(wú)法真正理解對(duì)話的語(yǔ)境和意圖。

研究人員表示，可以通過(guò)對(duì)大型語(yǔ)言模型進(jìn)行預(yù)訓(xùn)練，使其在更大規(guī)模的自然口語(yǔ)語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，從而克服這些限制。然而，收集如此規(guī)模的數(shù)據(jù)來(lái)訓(xùn)練今天的 AI 模型仍然是一個(gè)重大挑戰(zhàn)。與互聯(lián)網(wǎng)上的書(shū)面內(nèi)容相比，可用的對(duì)話錄音和轉(zhuǎn)錄數(shù)量要少得多。