歡迎來(lái)到科普中國(guó)特別推出的寒假精品欄目“給孩子的高新科技課”！

人工智能作為當(dāng)今最前沿的科技之一，正在以令人驚嘆的速度改變著我們的生活。從智能語(yǔ)音助手到無(wú)人駕駛汽車，從 AI 繪畫到機(jī)器學(xué)習(xí)，它為我們打開(kāi)了一個(gè)充滿無(wú)限可能的未來(lái)。本欄目將以通俗易懂的方式，用視頻和文字給孩子講述人工智能的原理、應(yīng)用及其對(duì)社會(huì)的深遠(yuǎn)影響。

快跟我們一起開(kāi)啟這場(chǎng) AI 之旅吧！

以下為文字版本：

（閱讀大約需要 5 分鐘）

2022 年底，“ChatGPT”這個(gè)詞悄然進(jìn)入公眾視野。

如果你沒(méi)聽(tīng)說(shuō)過(guò)，或是只把它當(dāng)成一個(gè)聊天機(jī)器人，那就太小看它了。

很多行業(yè)，比如新聞、律師、教育、客服咨詢等等，已經(jīng)把 ChatGPT 應(yīng)用在了生產(chǎn)、服務(wù)中。

那么，ChatGPT 究竟是什么？本期內(nèi)容，我們就來(lái)了解 ChatGPT 和它背后的技術(shù)。

我們先從它的名字說(shuō)起。

Chat，直譯為“閑聊”，可以說(shuō) Chat GPT 是用起來(lái)如同微信或 QQ 的一個(gè)聊天應(yīng)用。只不過(guò)，在那一頭的不是你的朋友，而是一個(gè) AI。

而 G、P、T 才是更重要的部分，它是“Generative Pre-trained Transformer”的縮寫。

Generative 意思是“生成式的”，這意味著它能夠根據(jù)接收到的信息，生成文本做出回應(yīng)。

Pre-trained 指“預(yù)訓(xùn)練的”，是說(shuō)在跟你對(duì)話之前，Chat GPT 就已經(jīng)經(jīng)過(guò)了大量的文本訓(xùn)練。

Transformer是一種深度學(xué)習(xí)的模型?？梢哉f(shuō)，transformer 是整個(gè) GPT 的核心。

要想理解“ChatGPT”，我們就要從 AI 是如何學(xué)說(shuō)話這件事情說(shuō)起。

人類說(shuō)話，是從腦海中的“詞典”里挑出一些詞，組成句子。如果只是簡(jiǎn)單地讓 AI 從詞典里隨機(jī)取詞，組成的句子大概率是不通順的，沒(méi)有任何含義。

為了讓計(jì)算機(jī)能夠說(shuō)出人類的語(yǔ)言，人們引入了馬爾科夫模型。簡(jiǎn)單的說(shuō)，馬爾科夫模型能把一個(gè)詞和前面的幾個(gè)詞建立起聯(lián)系。

舉個(gè)例子，根據(jù)語(yǔ)料庫(kù)，“蘇打”的下一個(gè)詞是“餅干”或“汽水”的概率遠(yuǎn)比“桌子”或“胡蘿卜”之類的詞要高。假如繼續(xù)在“蘇打”前面添加一個(gè)“吃”字，那么，填“餅干”的可能性又比“汽水”的概率要高。通過(guò)這種方式生成的句子，就比隨機(jī)生成的語(yǔ)句，更接近人類語(yǔ)言。

圖庫(kù)版權(quán)圖片，轉(zhuǎn)載使用可能引發(fā)版權(quán)糾紛

基于這樣的思考，在 20 世紀(jì) 70、80 年代，一種叫做循環(huán)神經(jīng)網(wǎng)絡(luò)的模型誕生了。循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱 RNN，它能夠很好地考慮詞語(yǔ)的順序性以及前面詞語(yǔ)對(duì)后面詞語(yǔ)的影響。

但 RNN 也有一些局限性，比如它存在“梯度消失”效應(yīng)。隨著句子長(zhǎng)度增長(zhǎng)，說(shuō)著說(shuō)著，它就忘記前面說(shuō)了什么了。

于是，人們對(duì) RNN 模型進(jìn)行了優(yōu)化，開(kāi)發(fā)出了長(zhǎng)短期記憶模型，簡(jiǎn)稱 LSTM，以解決“健忘”的問(wèn)題。

但這還不夠?；?RNN 的模型有兩個(gè)問(wèn)題，一是學(xué)習(xí)速度太慢。二是對(duì)于詞義的理解不夠好。

為此，新的神經(jīng)網(wǎng)絡(luò)架構(gòu) transformer 出現(xiàn)了。基于 transformer 的模型有著非?？斓膶W(xué)習(xí)速率，能夠在短時(shí)間里學(xué)習(xí)大量的文本資料。

目前，跟人們對(duì)話的 GPT 模型經(jīng)過(guò)了至少 45TB 的文本資料訓(xùn)練。

并且 transformer 中引入了一種叫做“self attention”的技術(shù)。這讓它能夠根據(jù)文章中的其他詞匯，輔助理解詞義，更好地聽(tīng)懂我們所說(shuō)的話。

當(dāng)然了，GPT 還在不斷優(yōu)化中。比如 GPT-4.0 就具備了更強(qiáng)的邏輯推理能力，甚至能理解圖片上的內(nèi)容，前景不可估量。

其實(shí)，像 GPT 這樣參數(shù)極其復(fù)雜、需要經(jīng)過(guò)大量文本訓(xùn)練的語(yǔ)言模型，被稱作大語(yǔ)言模型。除了 GPT，比如阿里的 PLUG，華為的盤古-α、百度的 ERNIE 3.0 等等，都屬于大語(yǔ)言模型。

在這些大語(yǔ)言模型的幫助下，我們的工作、生活方式，可能發(fā)生巨大的改變。

你，準(zhǔn)備好了嗎？

策劃制作

本文為科普中國(guó)-創(chuàng)作培育計(jì)劃作品

出品｜中國(guó)科協(xié)科普部

監(jiān)制｜中國(guó)科學(xué)技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司

作者丨北京云御紀(jì)文化傳播有限公司

審核丨秦曾昌 北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院 副教授

策劃丨符思佳

責(zé)編丨符思佳

審校丨徐來(lái) 林林