歡迎來到科普中國特別推出的寒假精品欄目“給孩子的高新科技課”！

人工智能作為當(dāng)今最前沿的科技之一，正在以令人驚嘆的速度改變著我們的生活。從智能語音助手到無人駕駛汽車，從 AI 繪畫到機(jī)器學(xué)習(xí)，它為我們打開了一個(gè)充滿無限可能的未來。本欄目將以通俗易懂的方式，用視頻和文字給孩子講述人工智能的原理、應(yīng)用及其對(duì)社會(huì)的深遠(yuǎn)影響。

快跟我們一起開啟這場 AI 之旅吧！

2022 年底，“ChatGPT”這個(gè)詞悄然進(jìn)入公眾視野。

如果你沒聽說過，或是只把它當(dāng)成一個(gè)聊天機(jī)器人，那就太小看它了。

很多行業(yè)，比如新聞、律師、教育、客服咨詢等等，已經(jīng)把 ChatGPT 應(yīng)用在了生產(chǎn)、服務(wù)中。

那么，ChatGPT 究竟是什么？本期內(nèi)容，我們就來了解 ChatGPT 和它背后的技術(shù)。

我們先從它的名字說起。

Chat，直譯為“閑聊”，可以說 Chat GPT 是用起來如同微信或 QQ 的一個(gè)聊天應(yīng)用。只不過，在那一頭的不是你的朋友，而是一個(gè) AI。

而 G、P、T 才是更重要的部分，它是“Generative Pre-trained Transformer”的縮寫。

Generative 意思是“生成式的”，這意味著它能夠根據(jù)接收到的信息，生成文本做出回應(yīng)。

Pre-trained 指“預(yù)訓(xùn)練的”，是說在跟你對(duì)話之前，Chat GPT 就已經(jīng)經(jīng)過了大量的文本訓(xùn)練。

Transformer是一種深度學(xué)習(xí)的模型。可以說，transformer 是整個(gè) GPT 的核心。

要想理解“ChatGPT”，我們就要從 AI 是如何學(xué)說話這件事情說起。

人類說話，是從腦海中的“詞典”里挑出一些詞，組成句子。如果只是簡單地讓 AI 從詞典里隨機(jī)取詞，組成的句子大概率是不通順的，沒有任何含義。

為了讓計(jì)算機(jī)能夠說出人類的語言，人們引入了馬爾科夫模型。簡單的說，馬爾科夫模型能把一個(gè)詞和前面的幾個(gè)詞建立起聯(lián)系。

舉個(gè)例子，根據(jù)語料庫，“蘇打”的下一個(gè)詞是“餅干”或“汽水”的概率遠(yuǎn)比“桌子”或“胡蘿卜”之類的詞要高。假如繼續(xù)在“蘇打”前面添加一個(gè)“吃”字，那么，填“餅干”的可能性又比“汽水”的概率要高。通過這種方式生成的句子，就比隨機(jī)生成的語句，更接近人類語言。

圖庫版權(quán)圖片，轉(zhuǎn)載使用可能引發(fā)版權(quán)糾紛

基于這樣的思考，在 20 世紀(jì) 70、80 年代，一種叫做循環(huán)神經(jīng)網(wǎng)絡(luò)的模型誕生了。循環(huán)神經(jīng)網(wǎng)絡(luò)簡稱 RNN，它能夠很好地考慮詞語的順序性以及前面詞語對(duì)后面詞語的影響。

但 RNN 也有一些局限性，比如它存在“梯度消失”效應(yīng)。隨著句子長度增長，說著說著，它就忘記前面說了什么了。

于是，人們對(duì) RNN 模型進(jìn)行了優(yōu)化，開發(fā)出了長短期記憶模型，簡稱 LSTM，以解決“健忘”的問題。

但這還不夠?；?RNN 的模型有兩個(gè)問題，一是學(xué)習(xí)速度太慢。二是對(duì)于詞義的理解不夠好。

為此，新的神經(jīng)網(wǎng)絡(luò)架構(gòu) transformer 出現(xiàn)了?；?transformer 的模型有著非?？斓膶W(xué)習(xí)速率，能夠在短時(shí)間里學(xué)習(xí)大量的文本資料。

目前，跟人們對(duì)話的 GPT 模型經(jīng)過了至少 45TB 的文本資料訓(xùn)練。

并且 transformer 中引入了一種叫做“self attention”的技術(shù)。這讓它能夠根據(jù)文章中的其他詞匯，輔助理解詞義，更好地聽懂我們所說的話。

當(dāng)然了，GPT 還在不斷優(yōu)化中。比如 GPT-4.0 就具備了更強(qiáng)的邏輯推理能力，甚至能理解圖片上的內(nèi)容，前景不可估量。

其實(shí)，像 GPT 這樣參數(shù)極其復(fù)雜、需要經(jīng)過大量文本訓(xùn)練的語言模型，被稱作大語言模型。除了 GPT，比如阿里的 PLUG，華為的盤古-α、百度的 ERNIE 3.0 等等，都屬于大語言模型。

在這些大語言模型的幫助下，我們的工作、生活方式，可能發(fā)生巨大的改變。

你，準(zhǔn)備好了嗎？

來源：科普中國