本文為產(chǎn)品經(jīng)理提供一些更易懂的chatGPT含義解釋 ChatGPT：Generative Pre-Training Transformer 01 G：Generative 生成式生成式，在這里指的是生成模型。 1. 在人工智能領(lǐng)域，與生成模型并列存在的還有
除此之外，還有關(guān)聯(lián)規(guī)則學(xué)習(xí)、回歸、集成學(xué)習(xí)、深度學(xué)習(xí)、強化學(xué)習(xí)等模型，這些模型和生成模型一樣，都是人工智能領(lǐng)域的重要組成部分，它們在不同的任務(wù)和應(yīng)用中發(fā)揮著關(guān)鍵作用。 2. 生成式模型的分類生成式模型是一類能夠生成新數(shù)據(jù)的模型，這些數(shù)據(jù)在某種程度上與訓(xùn)練模型相似，但是是獨一無二的，它是一個廣泛的類別，其中有幾個小分支：包括使用對抗網(wǎng)絡(luò)的圖像生成模型（如DALLE），使用擴散模型的圖像生成模型（如Stable Diffusion和MidJourney），以及使用轉(zhuǎn)換器架構(gòu)的文本生成模型（如ChatGPT）。 生成式模型努力解決的問題，就是給定一些字，預(yù)測如果是人類會寫什么字。 3. BERT時代的生成式想象你是一位老師教一個學(xué)生學(xué)習(xí)語言。在早期BERT的訓(xùn)練過程中，可以把它想象成一種特殊的教學(xué)方法：
4. chatGPT時代的生成式現(xiàn)在，讓我們來談?wù)凜hatGPT。它就像是BERT的升級版，不僅能夠玩猜單詞的游戲，還能夠理解句子的意思（上下文）和意圖（意思）：
BERT像是在學(xué)習(xí)如何理解語言和猜測單詞，而ChatGPT則像是在學(xué)習(xí)如何使用語言來進行交流和創(chuàng)造。 02 P：Pre-Training 預(yù)訓(xùn)練以前很多的人工智能模型都是為了一個目標訓(xùn)練的，這些模型就像針對一項特定任務(wù)訓(xùn)練的專家。比如：
這些模型通常只擅長它們被訓(xùn)練做的任務(wù)，如果任務(wù)稍微變化，它們可能就無法勝任了。 1. 預(yù)訓(xùn)練模型（Pre-Training Models）Pre-Training 模型不是為了特定的目標訓(xùn)練，而是預(yù)先訓(xùn)練一個通用的模型。如果我有特定的需求，我可以在這個基礎(chǔ)上進行第二次訓(xùn)練，基于原來已經(jīng)預(yù)訓(xùn)練的模型，進行微調(diào)（Fine- Tuning）。 這些預(yù)訓(xùn)練模型則更像是多面手，它們不是為某個特定任務(wù)訓(xùn)練的，而是通過大量數(shù)據(jù)學(xué)習(xí)語言、圖像或其他類型的通用特征。比如：
2. 預(yù)訓(xùn)練的好處
3. 微調(diào)（Fine-Tuning）一旦我們有一個預(yù)訓(xùn)練模型，就可以根據(jù)特定的需求對它進行微調(diào)。這個過程就像是：
ChatGPT 的預(yù)訓(xùn)練就是給了我們所有人一個預(yù)先訓(xùn)練好的模型。這個模型里面語言是強項，它提供的內(nèi)容無論多么的胡說八道，至少我們必須承認它的行文通暢程度無可挑剔。而回答的內(nèi)容部分，正是我們需要 fine tuning 的。 03 T：Transformer 轉(zhuǎn)換器Transformer 是自然語言處理中的一種架構(gòu)，由于能夠有效處理序列數(shù)據(jù)成為NLP領(lǐng)域的里程碑。該架構(gòu)在機器翻譯、文本摘要、問答系統(tǒng)、文本生成等任務(wù)中都取得了顯著的成果。 GPT系列模型就是基于轉(zhuǎn)換器架構(gòu)的，它們通過預(yù)訓(xùn)練大量的文本數(shù)據(jù)，學(xué)會了語言的復(fù)雜模式，并能夠生成連貫、相關(guān)的文本。在這中間的過程為： 語言轉(zhuǎn)換器把語言序列作為輸入，然后用一個叫做 encoder 的東西變成數(shù)字（比如 GPT 就用 1536 個浮點數(shù)，也叫 1536 維向量，表示任何的單詞，或者句子，段落，篇章等； 然后經(jīng)過轉(zhuǎn)化，變成一串新的序列； 最后再用 decoder 把它輸出。 轉(zhuǎn)換器，是這個自然語言處理的核心。 1. 類比變電器:
2. 舉例說明比如輸入一句話“我今天吃了蘋果，很高興” 編碼器（Encoder）：這部分模型將輸入的句子轉(zhuǎn)換成一系列數(shù)字向量。每個單詞都被轉(zhuǎn)換成一個高維空間中的點（比如1024維，其中一個或多個維度的組合表達了蘋果「圓」的含義，另外一堆表達了「蘋果的紅和甜」的含義，還有一大堆共同表達了「你吃到好吃的食物，你的情緒很好」等等屬性組合，至于具體哪些表達了這些，不得而知），這個點包含了單詞的語義信息。這個過程就像是將電壓降低，使其適合處理。 轉(zhuǎn)換：Transformer模型通過自注意力機制處理這些向量，讓模型能夠理解單詞之間的關(guān)系和整個句子的含義。這就像是變電器內(nèi)部的磁場轉(zhuǎn)換，確保電流在不同部件之間有效流動。 解碼器（Decoder）：在需要生成文本的任務(wù)中，解碼器會使用編碼器提供的數(shù)字向量來生成響應(yīng)或翻譯。例如，如果任務(wù)是將句子翻譯成英文，解碼器可能會輸出“I ate an apple today and I was very happy.” 最終的文本輸出，可以是翻譯、回答或其他任何基于輸入文本的生成內(nèi)容。 04 GPT：生成式預(yù)訓(xùn)練轉(zhuǎn)化器一個預(yù)先訓(xùn)練好的，用生成的方式，把輸入文字轉(zhuǎn)化成輸出文字的翻譯，除了這個以外的各種能力和各種定義，大多數(shù)是這個翻譯官的應(yīng)用場景而不是它本身。 chatGPT 我們可以結(jié)合 OpenAI 的模型命名了解其功能和特性，同時理解OpenAI在自然語言處理領(lǐng)域的發(fā)展歷程，以及各個模型之間的聯(lián)系和區(qū)別。歷史版本包括： 1. GPT-12. GPT-2（開源）
3. GPT-3（生成式）可以給 prompt（提示詞），它負責(zé)補全（completion）。但是用于聊天不是很好用，因為本來就不是為聊天這個場景準備的。
4. InstructGPT（聽懂指令）
5. ChatGPT（對話專用）
本文由 @wanee 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載 題圖來自Unsplash，基于 CC0 協(xié)議 該文觀點僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。 |
