2023年11月30日，隨著ChatGPT問世，人工智能領域多了一條類似“摩爾定律”的法則：Scaling Law。 Scaling Law意味著只要模型參數(shù)、數(shù)據(jù)量和算力不斷提高，AI模型的表現(xiàn)就會持續(xù)提升，這條法則一度成為不少專業(yè)人士相信通用人工智能（類人AI）能夠實現(xiàn)的基石。 現(xiàn)在，這種信念似乎正面臨挑戰(zhàn)。 11月9日，The Information率先爆料OpenAI研發(fā)遇到阻力，下一代大模型性能不及預期，隨后彭博社等各路媒體加入，谷歌、Anthropic等AI公司放緩研發(fā)的新聞逐一呈現(xiàn)。
眼下，英偉達也被爆出工程問題，Blakewell新架構似乎存在過熱問題，面向用戶的交互可能延遲。 AI摩爾定律宣言的三大要素：算法、算力、數(shù)據(jù)都在遭遇問題。 AI大模型這條道是不是走到頭了，歷史上反復出現(xiàn)的AI寒冬是不是又要來了？ 11月21日，王煜全將帶來年終專題直播【前哨2025科技前瞻】，解讀AI等最前沿的科技趨勢。 如果你想了解AI的未來在哪，獲取王煜全的獨家見解，歡迎點擊文首入口，加入前哨科技特訓營。 接下來，我們繼續(xù)聊聊這輪AI發(fā)展放緩。 1.OpenAI研發(fā)放緩？AI進步停了？ OpenAI的最新旗艦模型Orion (GPT-5)的研發(fā)歷程，或許能揭示這一問題的端倪。 The information報道，雖然Orion的性能超越了前代GPT-4，但提升幅度遠不及GPT-3到GPT-4的飛躍。 一些OpenAI員工甚至認為，Orion在某些任務上的表現(xiàn)并不比前代模型更好，例如在代碼編寫方面。更糟糕的是，Orion的運行成本更高，性價比卻更低。 Google的Gemini模型也面臨著類似的困境。即使投入了更大的算力和更多的數(shù)據(jù)，Gemini的性能提升也不如預期。 相關報道出現(xiàn)，立刻在業(yè)內(nèi)外引發(fā)巨大討論，OpenAI前首席科學家Ilya，這位最知名的Scaling Law支持者，站出來承認Scaling Law的時代已經(jīng)結束，AI需要新的方向。 無數(shù)爭論最終聚焦到OpenAI身上，逼得Sam Altman站出來公開回應：“there is no wall.“ AI技術進步?jīng)]有撞墻？！ 2.論文研究給出不同回答 如果說以上更多是媒體捕風捉影，一份學術論文成為專業(yè)人士眼中AI放緩的關鍵證據(jù)。 11月發(fā)布的論文《Scaling Laws for Precision》給出結論：低精度訓練和推理會影響模型質量和成本。
這里先解釋下低精度訓練和推理的價值。 低精度訓練和推理可以顯著降低模型的計算成本和內(nèi)存使用，對超大規(guī)模模型訓練非常有效，這也就是為什么英偉達的GPU浮點精度從FP32一路降到FP8。 通過使用低精度，AI公司可以在有限的硬件資源下加速訓練過程并減少能耗，使得模型的開發(fā)和部署變得更加可持續(xù)。 此外，低精度推理也能夠讓AI更快地響應用戶請求，特別是在需要實時互動的應用場景中，是非常有效的折中方案。 然而《Scaling Laws for Precision》告訴大家，更低的精度對模型性能提升已經(jīng)沒有好處。 原文太過專業(yè)，這里打個比方可能更好理解：使用低精度進行訓練會讓模型的“有效腦容量”變小，導致它的表現(xiàn)變差，這在訓練后同樣起效。 FP8這個精度水平可能已經(jīng)達到一個瓶頸，再繼續(xù)下降雖然能訓練更大的模型，但模型已經(jīng)記不住更多東西。 如今芯片制程已經(jīng)很難再有大跨越，降低精度的手段也不起效，這意味著我嘛可能已經(jīng)進入“AI技術的減速帶”，光靠增加模型的大小和數(shù)據(jù)量已經(jīng)無法帶來明顯的性能提升。 3.Scaling Law真的死了嗎？ 在此我們不經(jīng)要問一個問題：Scaling Law真的失效了嗎？AI真的因此放緩嗎？ 首先，《Scaling Laws for Precision》并沒有宣判Scaling Law的死刑，只是對于降低精度擴大模型這條路走不通而已。 如果你了解科技產(chǎn)業(yè)歷史就會知道，從1990年代媒體熱議"摩爾定律已死"，到芯片制程在2015年真的放緩，相隔20多年時間。 今天宣稱Scaling Law已死太過悲觀。
其次，AI進步放緩背后還有數(shù)據(jù)的瓶頸。 今天大型語言模型(LLM)已經(jīng)充分利用了公開可用的高質量文本數(shù)據(jù)，繼續(xù)挖掘網(wǎng)絡信息的價值有限，這也導致AI公司想方設法獲取各種新的數(shù)據(jù)，拓展多模態(tài)能力背后也有這個原因。 這一切都只是告訴我們，AI進步放緩，并不意味著進步停止。 4.技術組合，超越規(guī)模限制 技術進步從來不是單一要素驅動的，每次技術突破背后都有各種新技術的相互組合。 眼下AI領域就正在組合多種技術，嘗試突破已有的限制。 OpenAI的推理模型 (o1) 就是一種嘗試，在不改變底層模型的情況下，通過增加推理算力來提升模型表現(xiàn)。 MIT等研究人員則提出更具顛覆性的想法：在模型給出答案之前進行少量微調，讓模型時刻動態(tài)調整。 與此同時，AR、自動駕駛、機器人、芯片技術仍然在進步中，臺積電將高數(shù)值孔徑 EUV 用于研發(fā)，谷歌推出基于大模型的端到端自動駕駛方案，AI Agent的技術創(chuàng)新仍在持續(xù)。 這些新技術有多大價值？哪些會是未來的產(chǎn)業(yè)風口？歡迎長按下方二維碼，加入前哨科技特訓營了解。
↓點擊加入，學會用AI為你工作（iOS用戶請在電腦端打開）
↓￥399，掌握王煜全AI產(chǎn)業(yè)預測精華（iOS用戶請在電腦端打開）
此外，我們還為您準備了一份清單 “近期市場相關刺激政策一覽表” |
