AI大模型競賽愈發(fā)白熱化,下半場將聚焦推理與數(shù)據(jù)。 2月23日,馬斯克點(diǎn)贊了一條關(guān)于AI模型競爭路線的分析,他稱贊道“分析得很好”,值得一提的是,上周馬斯克旗下xAI正式發(fā)布Grok 3大模型。 這篇推文是由Gavin Baker發(fā)布,他在文章中表示,AI產(chǎn)業(yè)格局的變革正在加速,OpenAI的先發(fā)優(yōu)勢(shì)消退,微軟也選擇后撤一步。 Gavin還預(yù)計(jì),未來數(shù)據(jù)成為競爭核心,無法獲得獨(dú)特、有價(jià)值數(shù)據(jù)的前沿模型是歷史上貶值最快的資產(chǎn)。Meta等巨頭通過數(shù)據(jù)壟斷和算力規(guī)模構(gòu)建護(hù)城河,而中小玩家聚焦差異化部署和成本優(yōu)化。 不過,Gavin仍看好xAI和OpenAI,他表示,如果OpenAI在5年后仍然是該領(lǐng)域的領(lǐng)導(dǎo)者,那可能是因?yàn)橄劝l(fā)優(yōu)勢(shì)和規(guī)模優(yōu)勢(shì),以及產(chǎn)品影響力。 Gavin在推文中指出:
據(jù)The Information此前報(bào)道,微軟內(nèi)部備忘錄顯示,由于預(yù)訓(xùn)練邊際效益遞減,原計(jì)劃投入160億美元升級(jí)預(yù)訓(xùn)練基礎(chǔ)設(shè)施的方案已被叫停,微軟轉(zhuǎn)而專注于為OpenAI提供推理以獲取收益。 納德拉也在此前的播客節(jié)目中表示,數(shù)據(jù)中心可能建設(shè)過剩,租賃優(yōu)于自建,微軟甚至可能會(huì)使用開源模型來支持 CoPilot。Gavin認(rèn)為,這些預(yù)示著單純依靠參數(shù)擴(kuò)張建立壁壘的“預(yù)訓(xùn)練時(shí)代”已走向終結(jié)。 Gavin認(rèn)為,當(dāng)模型架構(gòu)趨同,獨(dú)家數(shù)據(jù)資源成為護(hù)城河。 Gavin在推文中表示:
這解釋了為何扎克伯格將Meta的AI戰(zhàn)略錨定在社交數(shù)據(jù)閉環(huán),據(jù)媒體此前報(bào)道,Instagram用戶的圖像標(biāo)注數(shù)據(jù),使Meta的多模態(tài)模型訓(xùn)練效率提升40%。 這一變化也將帶來AI基礎(chǔ)設(shè)施格局的顛覆性變化,Gavin預(yù)計(jì),
Gavin強(qiáng)調(diào),推理模型是極其計(jì)算密集型的,具備強(qiáng)大的計(jì)算能力,模型才能高效地完成推理任務(wù)。但與之前那種預(yù)訓(xùn)練和推理階段計(jì)算資源分配大致各占一半的情況不同,現(xiàn)在會(huì)變成預(yù)訓(xùn)練占 5%,推理階段占95%。卓越的基礎(chǔ)設(shè)施將至關(guān)重要。 整體來看,未來AI行業(yè)可能呈現(xiàn)“預(yù)訓(xùn)練集中化,推理去中心化”的兩極格局,數(shù)據(jù)成為權(quán)力核心,巨頭通過數(shù)據(jù)壟斷和算力規(guī)模構(gòu)建護(hù)城河,而中小玩家聚焦差異化部署和成本優(yōu)化。 |