AI進(jìn)步放緩、遭遇瓶頸？OpenAI等頭部公司：不存在！

2024-12-1 10:29| 發(fā)布者: admin| 查看: 119| 評論: 0

摘要: “OpenAI新一代大模型Orion沒有那么大飛躍”、“Anthropic推遲Claude新模型的發(fā)布”、“谷歌即將發(fā)布的新版Gemini未達(dá)預(yù)期”……近日，多家媒體接連爆料AI公司遭遇廣泛的技術(shù)升級瓶頸，“推遲”、“質(zhì)疑”、“未達(dá)預(yù) ...

“OpenAI新一代大模型Orion沒有那么大飛躍”、“Anthropic推遲Claude新模型的發(fā)布”、“谷歌即將發(fā)布的新版Gemini未達(dá)預(yù)期”……

近日，多家媒體接連爆料AI公司遭遇廣泛的技術(shù)升級瓶頸，“推遲”、“質(zhì)疑”、“未達(dá)預(yù)期”這類詞語頻繁出現(xiàn)在報道中。在AI變得越來越觸手可及的當(dāng)下，這些AI公司似乎正在陷入升級困境。

據(jù)BusinessInsider 11月27日報道，AI技術(shù)的進(jìn)步正在放緩，大模型性能提升瓶頸、訓(xùn)練數(shù)據(jù)短缺、訓(xùn)練數(shù)據(jù)質(zhì)量問題、推理能力提升遇阻等是這一領(lǐng)域面臨的主要困境。

然而，以O(shè)penAI、谷歌等為主的幾家頭部公司卻堅稱，AI并沒有遇到所謂的“壁壘”和“瓶頸”。他們依然對AI的前景感到樂觀，并認(rèn)為通過開發(fā)新型數(shù)據(jù)源、增加模型推理能力以及應(yīng)用合成數(shù)據(jù)，AI模型將繼續(xù)保持進(jìn)步。

OpenAI的首席執(zhí)行官Sam Altman是首批發(fā)聲的人之一，本月他在社交平臺上稱：“根本沒有瓶頸”（there is no wall）。Anthropic和英偉達(dá)的CEO也表示，AI的進(jìn)步并未放緩。

AI困境

當(dāng)下，包括Marc Andreessen在內(nèi)的一些人士質(zhì)疑，AI模型的性能提升并不顯著，且趨于同質(zhì)化。對于科技行業(yè)來說，這是一個價值數(shù)萬億美元的問題，因為如果現(xiàn)有的AI模型訓(xùn)練方法回報遞減，可能會影響到新創(chuàng)企業(yè)、產(chǎn)品以及數(shù)據(jù)中心的投資熱潮。

據(jù)BusinessInsider梳理，AI領(lǐng)域廣泛面臨的困境包括訓(xùn)練數(shù)據(jù)枯竭、性能提升遇阻等問題。

在AI研發(fā)的早期階段，企業(yè)可能會遭遇兩個主要瓶頸：計算能力和訓(xùn)練數(shù)據(jù)。首先，獲取專用芯片（如GPU）的能力有限，影響大模型訓(xùn)練。其次，訓(xùn)練數(shù)據(jù)的瓶頸逐漸顯現(xiàn)，互聯(lián)網(wǎng)上公開可用的數(shù)據(jù)資源已經(jīng)逐漸枯竭。研究機構(gòu)Epoch AI預(yù)測，到2028年，能夠用于訓(xùn)練的數(shù)據(jù)可能會耗盡。

數(shù)據(jù)質(zhì)量也成為一大問題。過去研究人員可以在預(yù)訓(xùn)練階段對數(shù)據(jù)質(zhì)量要求不高，但現(xiàn)在需要更加關(guān)注數(shù)據(jù)的質(zhì)量，而不僅僅是數(shù)量。

而推理能力的提升和突破被認(rèn)為是AI發(fā)展的下一個關(guān)鍵方向。OpenAI前首席科學(xué)家Ilya Sutskever本月對媒體表示，模型在預(yù)訓(xùn)練階段的規(guī)模擴(kuò)展已經(jīng)達(dá)到平臺期，且“大家都在尋找下一個突破”。

與此同時，AI的升級成本正在不斷增加。隨著模型規(guī)模擴(kuò)大，計算和數(shù)據(jù)處理成本顯著增加。據(jù)Anthropic的CEO透露，未來一次完整的訓(xùn)練過程可能需要高達(dá)1000億美元的投資，這包括GPU、能源和數(shù)據(jù)處理的巨大成本。

各大公司正在突破壁壘

面對質(zhì)疑聲，各大AI公司相繼提出了自己的計劃來應(yīng)對AI發(fā)展的瓶頸。

當(dāng)下，多家公司探索利用多模態(tài)數(shù)據(jù)和私人數(shù)據(jù)來應(yīng)對公開數(shù)據(jù)不足的問題。多模態(tài)數(shù)據(jù)涉及將視覺和音頻數(shù)據(jù)輸入AI系統(tǒng)，而私人數(shù)據(jù)則通過與出版商達(dá)成許可協(xié)議獲取。與此同時，提升數(shù)據(jù)質(zhì)量也成為研究的重點，生成合成數(shù)據(jù)（由人工智能生成的數(shù)據(jù)）成為一種可能的解決方案。

此外，微軟和OpenAI等公司正在努力賦予AI系統(tǒng)更強的推理能力，使其能夠在面對復(fù)雜問題時作出更深入的分析。

OpenAI：正在通過與Vox Media和Stack Overflow等組織的合作，以獲取私人數(shù)據(jù)用于模型訓(xùn)練。此外，他們還推出了新的模型o1，嘗試通過“思考”來改善推理能力。
英偉達(dá)：正克服供應(yīng)限制，確保GPU的供應(yīng)以支持AI模型的訓(xùn)練。
谷歌DeepMind：公司AI實驗室正在調(diào)整策略，不再單純追求模型規(guī)模的擴(kuò)大，而是通過更高效的方式來專注于特定任務(wù)的專精。
微軟：在最近的Ignite活動中，CEO Satya Nadella提到，他們正在研究新的“測試時間計算”模式，允許模型在應(yīng)對復(fù)雜問題時花費更多時間，提高推理能力。
Clarifai和Encord：正在探索多模態(tài)數(shù)據(jù)的使用，以突破公共數(shù)據(jù)瓶頸。多模態(tài)數(shù)據(jù)結(jié)合了視覺和音頻信息，可為AI系統(tǒng)提供更多元化的數(shù)據(jù)源。
Aindo AI和Hugging Face：正在研究合成數(shù)據(jù)，以提高數(shù)據(jù)質(zhì)量。

本文來自華爾街見聞，歡迎下載APP查看更多