Transformer、GPT、InstructGPT、大模型、AIGC……你是不是被這個(gè)概念鬧暈了？ 作為一個(gè)文科生+AIGC從業(yè)者+市場(chǎng)人，其實(shí)要搞懂ChatGPT等等晦澀的概念多多少少有些吃力，我想應(yīng)該會(huì)有不少人也有這種感覺(jué)。 但是我看了大部分市場(chǎng)上傳播的文章，依然晦澀難懂，造成了不少認(rèn)知門(mén)檻。 今天，我試著挑戰(zhàn)，用一篇文章搞清楚ChatGPT的相關(guān)概念，一方面讓自己加深理解，另一方面，希望對(duì)各位有用。 一、Transformer我的理解是，這是一種高級(jí)的“翻譯機(jī)器”，它能夠理解和翻譯不同語(yǔ)言之間的文本。為了幫助你更通俗地理解這個(gè)模型，我們可以將其比作一個(gè)有著超凡記憶力和注意力分配能力的多語(yǔ)言翻譯家。 這個(gè)翻譯家有以下幾種能力：
二、GPTGPT，一個(gè)多層的Transformer解碼器，它就像是一個(gè)通過(guò)大量閱讀和學(xué)習(xí)，掌握了許多語(yǔ)言知識(shí)和寫(xiě)作技巧的“虛擬作家”。這個(gè)作家不僅閱讀了大量的書(shū)籍和文章，而且還學(xué)會(huì)了如何根據(jù)上下文生成連貫、有意義的文本。 想象這個(gè)作家在成長(zhǎng)的過(guò)程中，沒(méi)有老師直接告訴他哪些句子是正確的，哪些是錯(cuò)誤的。相反，他通過(guò)閱讀大量的文本，自己學(xué)會(huì)了語(yǔ)言的規(guī)則和模式。這就是GPT模型的自監(jiān)督學(xué)習(xí)，它通過(guò)閱讀大量未標(biāo)記的文本數(shù)據(jù)，自己學(xué)習(xí)語(yǔ)言的結(jié)構(gòu)和用法。 這個(gè)作家首先通過(guò)廣泛的閱讀來(lái)積累知識(shí)（預(yù)訓(xùn)練），然后在需要寫(xiě)特定類(lèi)型的文章時(shí)，他會(huì)針對(duì)這種類(lèi)型進(jìn)行專(zhuān)門(mén)的練習(xí)（微調(diào)）。GPT模型也是如此，它首先在大量數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，然后在特定任務(wù)上進(jìn)行微調(diào)，以提高在該任務(wù)上的表現(xiàn)。 在寫(xiě)作時(shí)，這個(gè)作家只能根據(jù)他已經(jīng)寫(xiě)好的內(nèi)容來(lái)預(yù)測(cè)下一個(gè)字或句子，而不能提前知道后面的內(nèi)容。GPT模型使用因果掩碼來(lái)確保在生成文本時(shí)，每個(gè)單詞只依賴(lài)于它之前的單詞，保證了文本的連貫性。 隨著時(shí)間的推移，這個(gè)作家不斷學(xué)習(xí)和積累經(jīng)驗(yàn)，寫(xiě)作技巧也越來(lái)越熟練。GPT-1、GPT-2和GPT-3就像這個(gè)作家的不同成長(zhǎng)階段，每一代都比前一代閱讀了更多的書(shū)籍，掌握了更多的知識(shí)，寫(xiě)作能力也更強(qiáng)。 到了GPT-3這個(gè)階段，這個(gè)作家已經(jīng)非常熟練，即使沒(méi)有或只有很少的示例，他也能夠?qū)懗龈哔|(zhì)量的文章。這意味著GPT-3能夠在沒(méi)有或只有極少的特定任務(wù)訓(xùn)練數(shù)據(jù)的情況下，理解和完成新的任務(wù)。 三、InstructGPT什么是InstructGPT？ 如果 GPT-3想象成一個(gè)聰明的學(xué)生，那么 InstructGPT則是這個(gè)學(xué)生經(jīng)過(guò)特別輔導(dǎo)后的樣子。 GPT-3這個(gè)學(xué)生雖然學(xué)習(xí)了很多知識(shí)，但有時(shí)候回答問(wèn)題可能會(huì)離題、編造故事、或者帶有一些不公平的看法。同時(shí)，他在進(jìn)行長(zhǎng)對(duì)話時(shí)，有時(shí)會(huì)忘記之前說(shuō)過(guò)的內(nèi)容，導(dǎo)致對(duì)話不夠連貫。 為了讓這個(gè)學(xué)生更好地理解老師（人類(lèi)用戶）的意圖，并且按照老師的喜好來(lái)回答問(wèn)題，我們需要一種方法來(lái)調(diào)整他的學(xué)習(xí)方式，這就是“Alignment”（對(duì)齊）的概念。 為了讓GPT-3變得更好，我們給他請(qǐng)了一個(gè)特別的家教（RLHF），這個(gè)家教通過(guò)收集老師的反饋來(lái)知道哪些答案是好的，哪些是不好的。然后，家教用這些反饋來(lái)指導(dǎo)學(xué)生學(xué)習(xí)，幫助他在未來(lái)給出更符合老師期望的答案。 四、ChatGPT（GPT3.5/GPT4.0）我的理解是， ChatGPT就像是一個(gè)全能的、知識(shí)淵博的機(jī)器人圖書(shū)管理員，隨時(shí)準(zhǔn)備幫助你解答問(wèn)題和提供信息。而且，隨著時(shí)間的推移，它會(huì)學(xué)到更多的東西，變得更加聰明和有用。 這個(gè)機(jī)器人圖書(shū)管理員不僅知道很多關(guān)于書(shū)籍和文字的知識(shí)，它還能理解圖片。所以，如果你給它看一張圖片，它不僅能告訴你圖片里有什么，還能根據(jù)圖片給你講一個(gè)故事或者回答你關(guān)于圖片的問(wèn)題。 五、大模型如何理解這一概念？ 我們用一個(gè)小學(xué)生也能理解的方式來(lái)解釋這些概念。 想象一下，有一個(gè)非常非常大的學(xué)校，這個(gè)學(xué)校有很多層樓和很多教室。這個(gè)學(xué)校就像是一個(gè)“大模型”，它有很多老師（參數(shù)）和學(xué)生（數(shù)據(jù)）。這些老師非常聰明，他們可以教很多不同的課程，比如數(shù)學(xué)、語(yǔ)文、科學(xué)等等。
現(xiàn)在，這個(gè)學(xué)校有很多成功的畢業(yè)生，比如GPT-3、BERT和T5等。他們都是在這個(gè)大學(xué)校里學(xué)習(xí)過(guò)的，現(xiàn)在他們可以幫助人們解決很多問(wèn)題，比如寫(xiě)作文、做數(shù)學(xué)題或者解答科學(xué)問(wèn)題。 所以，這個(gè)大學(xué)校（大模型）就像是一個(gè)能夠培養(yǎng)出很多聰明學(xué)生的好地方，雖然它需要很多資源和努力來(lái)運(yùn)營(yíng)，但是它能夠幫助我們做很多事情，讓我們的生活變得更好。 六、AIGC（人工智能生成內(nèi)容）想象一下，你有一個(gè)非常聰明的機(jī)器人朋友，它可以做很多事情，比如畫(huà)畫(huà)、寫(xiě)故事、甚至幫你做數(shù)學(xué)題。這個(gè)機(jī)器人朋友就是人工智能（AI）的一個(gè)例子。 AIGC（人工智能生成內(nèi)容）：這個(gè)機(jī)器人朋友可以創(chuàng)造很多東西，就像一個(gè)會(huì)畫(huà)畫(huà)和寫(xiě)故事的藝術(shù)家。它可以畫(huà)出你想象中的圖畫(huà)，或者寫(xiě)出一個(gè)關(guān)于你最喜歡的超級(jí)英雄的故事。這就是人工智能生成內(nèi)容，意味著機(jī)器人可以用它的大腦（AI技術(shù)）來(lái)創(chuàng)造新的東西。 Diffusion（擴(kuò)散模型）：想象你把一滴墨水滴進(jìn)清水里，墨水會(huì)慢慢散開(kāi)，最后水變得渾濁。機(jī)器人朋友就像能夠把這個(gè)渾濁的水變回清澈一樣，它可以從一團(tuán)混亂的噪點(diǎn)中創(chuàng)造出清晰的圖畫(huà)。 CLIP（圖文表征模型）：如果你給這個(gè)機(jī)器人朋友看很多圖片和它們的名字（比如“蘋(píng)果”、“小狗”、“汽車(chē)”），它會(huì)學(xué)會(huì)識(shí)別這些圖片。下次你給它看一個(gè)新的圖片，它就能告訴你圖片里是什么。 Stable Diffusion（穩(wěn)定擴(kuò)散模型）：這個(gè)機(jī)器人朋友還可以根據(jù)你給它的提示來(lái)畫(huà)畫(huà)。比如你告訴它“畫(huà)一個(gè)快樂(lè)的小狗”，它就能畫(huà)出一個(gè)小狗的圖畫(huà)，而且這個(gè)小狗看起來(lái)很開(kāi)心。 七、AGI（通用人工智能）想象一下，如果這個(gè)機(jī)器人朋友不僅會(huì)畫(huà)畫(huà)和寫(xiě)故事，還能像人類(lèi)一樣理解世界，學(xué)習(xí)任何東西，并且可以做任何工作，那么它就像一個(gè)真正的小朋友一樣了。這就是通用人工智能，它能夠做任何人類(lèi)能做的事情。 現(xiàn)在的AI，比如GPT，就像是一個(gè)在某個(gè)特定領(lǐng)域（比如寫(xiě)故事）非常擅長(zhǎng)的機(jī)器人，但它并不像真正的小朋友那樣理解世界?？茖W(xué)家們正在努力讓AI變得更像人類(lèi)，但這是一個(gè)很大的挑戰(zhàn)，需要很多時(shí)間和研究。 所以，AIGC就是讓AI像藝術(shù)家一樣創(chuàng)造內(nèi)容，而AGI是讓AI變得像人類(lèi)一樣理解和做事。 八、LLM（大型語(yǔ)言模型）大型語(yǔ)言模型就像是一個(gè)非常非常聰明的圖書(shū)管理員，它讀過(guò)很多書(shū)，知道很多關(guān)于語(yǔ)言的知識(shí)，可以幫助我們做很多事情，甚至可以自己寫(xiě)故事。 想象一下，這個(gè)圖書(shū)館管理員每天都在閱讀圖書(shū)館里的成千上萬(wàn)的書(shū)籍。它通過(guò)閱讀這些書(shū)籍，學(xué)會(huì)了很多單詞、句子和故事。這就是大型語(yǔ)言模型的訓(xùn)練過(guò)程，它通過(guò)閱讀大量的文本數(shù)據(jù)來(lái)學(xué)習(xí)語(yǔ)言。 因?yàn)樽x過(guò)很多書(shū)，這個(gè)管理員可以幫你做很多事情。比如，它可以給你講一個(gè)故事的摘要，或者幫你把一個(gè)故事翻譯成另一種語(yǔ)言，甚至可以告訴你一個(gè)故事里的人物是開(kāi)心還是傷心。大型語(yǔ)言模型也是這樣，它可以執(zhí)行很多不同的任務(wù)，比如文本總結(jié)、翻譯和情感分析。 這個(gè)管理員之所以這么聰明，是因?yàn)樗幸粋€(gè)超級(jí)大腦，里面有很多“小房間”（參數(shù)），每個(gè)“小房間”都存儲(chǔ)著不同的信息和知識(shí)。大型語(yǔ)言模型也是這樣，它有很多參數(shù)，這些參數(shù)幫助它記住和理解語(yǔ)言的復(fù)雜規(guī)則和模式。 當(dāng)你問(wèn)這個(gè)管理員一個(gè)問(wèn)題，或者給它一個(gè)主題時(shí)，它可以給你一個(gè)答案或者講一個(gè)故事。它可以根據(jù)它讀過(guò)的書(shū)籍和學(xué)到的知識(shí)，創(chuàng)造出連貫和有意義的文本。大型語(yǔ)言模型也是這樣，它可以生成新的文本，就像它自己在寫(xiě)故事一樣。 GPT-3、ChatGPT、BERT和T5就像是不同領(lǐng)域的圖書(shū)館管理員，有的可能更擅長(zhǎng)講故事，有的可能更擅長(zhǎng)解釋科學(xué)知識(shí)，而文心一言就像是會(huì)寫(xiě)詩(shī)的圖書(shū)管理員。它們都有自己的特長(zhǎng)，但都能幫助我們理解和使用語(yǔ)言。 九、Fine-tuning（微調(diào)）微調(diào)就像是在你已經(jīng)學(xué)會(huì)一項(xiàng)技能的基礎(chǔ)上，做一些小的改變和練習(xí)，讓你能夠更好地完成一個(gè)特定的任務(wù)。這樣做可以節(jié)省時(shí)間，因?yàn)槟悴恍枰匦聦W(xué)習(xí)所有的東西，只需要專(zhuān)注于你需要改進(jìn)的部分。 舉個(gè)例子，你在學(xué)習(xí)騎自行車(chē)。你的爸爸或媽媽先帶你在一個(gè)空曠的大公園里練習(xí)（這就像是預(yù)訓(xùn)練模型，公園里的各種地形就像是大量的數(shù)據(jù)，幫助你學(xué)會(huì)騎車(chē)的基本技巧）。 現(xiàn)在你已經(jīng)會(huì)騎車(chē)了，但是你想學(xué)習(xí)如何在你家附近的小山丘上騎（這就像是一個(gè)新的任務(wù)，需要微調(diào)）。因?yàn)樾∩角鸬穆泛凸珗@里的路可能不一樣，有上坡、下坡和彎道，所以你需要一些特別的練習(xí)來(lái)適應(yīng)這些新的情況。 你的爸爸或媽媽會(huì)帶你在小山丘上練習(xí)幾天，這樣你就會(huì)知道如何在上坡時(shí)蹬得更用力，在下坡時(shí)控制速度，在彎道時(shí)轉(zhuǎn)彎（這就是微調(diào)過(guò)程，你在學(xué)習(xí)如何應(yīng)用你已經(jīng)掌握的騎車(chē)技巧來(lái)適應(yīng)新的環(huán)境）。 微調(diào)的好處是，因?yàn)槟阋呀?jīng)知道怎么騎車(chē)了，所以你不需要再?gòu)牧汩_(kāi)始學(xué)習(xí)，只需要做一些小的調(diào)整就可以了。這就像是微調(diào)一個(gè)已經(jīng)預(yù)訓(xùn)練好的模型，讓它適應(yīng)一個(gè)新的任務(wù)，比如理解醫(yī)學(xué)文本。 十、 自監(jiān)督學(xué)習(xí)（Self-Supervised Learning）自監(jiān)督學(xué)習(xí)就像是通過(guò)讀故事和玩游戲來(lái)學(xué)習(xí)新單詞，而不需要?jiǎng)e人告訴我們答案。這樣，我們可以用很多沒(méi)有標(biāo)簽的數(shù)據(jù)來(lái)訓(xùn)練模型，讓模型變得更聰明。 比如你正在讀一本非常有趣的故事書(shū)。你讀了很多頁(yè)，學(xué)到了故事里的很多新單詞和句子。現(xiàn)在，如果你的朋友在旁邊，你可以玩一個(gè)游戲：你給他讀故事的一部分，然后遮住一些單詞，讓你的朋友猜下一個(gè)單詞是什么。這個(gè)游戲就像是自監(jiān)督學(xué)習(xí)。 在這個(gè)游戲中，你的朋友不需要?jiǎng)e人告訴他正確的答案是什么，因?yàn)楣适碌纳舷挛模ㄒ呀?jīng)讀過(guò)的部分）就是線索。你的朋友可以通過(guò)他已經(jīng)知道的單詞和故事的內(nèi)容來(lái)猜測(cè)下一個(gè)單詞。這就是自監(jiān)督學(xué)習(xí)的方式，模型通過(guò)已經(jīng)知道的信息來(lái)學(xué)習(xí)新的東西，而不需要額外的答案或標(biāo)簽。 以上，就是我的本周觀察和思考，歡迎討論。 專(zhuān)欄作家 黃河懂運(yùn)營(yíng)，微信公眾號(hào)：黃河懂運(yùn)營(yíng)，人人都是產(chǎn)品經(jīng)理專(zhuān)欄作家。5年+運(yùn)營(yíng)實(shí)操經(jīng)驗(yàn)，甲乙方市場(chǎng)/營(yíng)銷(xiāo)/運(yùn)營(yíng)經(jīng)驗(yàn)，擅長(zhǎng)從0到1幫助企業(yè)搭建運(yùn)營(yíng)增長(zhǎng)體系，在項(xiàng)目管理、市場(chǎng)調(diào)研、消費(fèi)者心理研究、社媒營(yíng)銷(xiāo)等方面有較為豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。 本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。 題圖來(lái)自 Unsplash，基于 CC0 協(xié)議。 該文觀點(diǎn)僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。 |
