史上最強(qiáng)AI？馬斯克20萬塊GPU燒出的是史上能耗最高大模型

2025-2-20 13:12| 發(fā)布者: admin| 查看: 135| 評(píng)論: 0

摘要: 20萬塊GPU“燒出”的Grok 3到底是不是地表最強(qiáng)AI？對(duì)此不乏爭(zhēng)議。但毋庸置疑的是，Grok 3絕對(duì)是有史以來能耗最高的大模型。訓(xùn)練消耗的能源相當(dāng)于一座小城市一年的用電量，或者4萬多輛燃油車一年的碳排放量。Grok 3的 ...

20萬塊GPU“燒出”的Grok 3到底是不是地表最強(qiáng)AI？對(duì)此不乏爭(zhēng)議。但毋庸置疑的是，Grok 3絕對(duì)是有史以來能耗最高的大模型。訓(xùn)練消耗的能源相當(dāng)于一座小城市一年的用電量，或者4萬多輛燃油車一年的碳排放量。

Grok 3的誕生折射出其仍未擺脫以能耗換性能的傳統(tǒng)“規(guī)模擴(kuò)展”模式。在全行業(yè)開源之風(fēng)漸濃、越來越推崇性價(jià)比的當(dāng)下，如何在優(yōu)化模型效率與降低能耗之間達(dá)到平衡，是Grok 3亟需解決的挑戰(zhàn)。

2月18日，馬斯克在X平臺(tái)直播發(fā)布Grok 3模型并進(jìn)行現(xiàn)場(chǎng)演示。其自己給出的PPT上寫著基準(zhǔn)測(cè)試結(jié)果表明Grok 3在AIME'24數(shù)學(xué)能力測(cè)試、GPQA科學(xué)知識(shí)評(píng)估、LCB Oct - Feb編程能力測(cè)試等多項(xiàng)測(cè)試中擊敗了谷歌Gemini 2 Pro、DeepSeek V3、Anthropic的Claude 3.5 sonnet和OpenAI的GPT-4o。

在大模型競(jìng)技場(chǎng)Chatbot Arena LLM排行榜上，代號(hào)巧克力的Grok 3早期版本登上榜一，成為有史以來第一個(gè)突破1400分的模型，各大模型無出其右。不過這一分?jǐn)?shù)也只比DeepSeek R1高2.9%。PPT上柱狀圖之所以高低相差顯著，是因?yàn)閳D片是從1300開始截圖，等于自帶“放大”效果。

Grok 3的1400分與其他大模型差距有限。之所以看起來“遙遙領(lǐng)先”，是因?yàn)橹鶢顖D的起始點(diǎn)為1300，自帶“放大”效果

事實(shí)上，直播也有多次“翻車”，比如馬斯克用Grok 3演示飛向火星代碼，輸出直接崩潰：兩次生成失敗。馬斯克只能與工作人員尬聊撐時(shí)間，讓后臺(tái)第三次生成才成功。

直播后，部分X用戶測(cè)試了最新的Beta版Grok 3，并提出了那個(gè)經(jīng)典的用來刁難大模型的問題：“9.11與9.9哪個(gè)大？”號(hào)稱最聰明的Grok 3居然答錯(cuò)了。

考慮到Grok 2發(fā)布時(shí)也是極其轟動(dòng)，但此后使用效果卻不夠AI，這次Grok 3會(huì)不會(huì)重蹈“跑分沒輸過，實(shí)用沒贏過”，還是未知數(shù)。不過目前可以肯定的是，這款馬斯克口中“地球上最聰明的AI”靠的是算力堆疊，這背后的訓(xùn)練成本極其龐大。

他在直播中首次透露，Grok 3的訓(xùn)練量是Grok 2的10倍，基于人工智能初創(chuàng)公司xAI位于孟菲斯的超級(jí)計(jì)算機(jī)集群進(jìn)行。該集群建造的第一階段，xAI在122天內(nèi)建成了擁有10萬塊NVIDIA H100 GPU的超級(jí)計(jì)算集群，第二階段拓展到20萬塊GPU集群，僅耗時(shí)92天。

有人計(jì)算了xAI在孟菲斯GPU的成本，僅以10萬塊H100、每塊GPU費(fèi)用30000美元計(jì)算，Grok 3的總硬件消耗就已超出30億美元。

相比之下，6710億參數(shù)的DeepSeek V3在配備2048塊算力受限的英偉達(dá)H800 GPU集群上訓(xùn)練，整個(gè)訓(xùn)練流程用時(shí)278.8萬個(gè)H800 GPU小時(shí)，總成本為557.6萬美元。在GPU用量、訓(xùn)練用時(shí)、算力成本上，較同等性能的閉源模型大幅縮減。低成本比肩對(duì)標(biāo)的閉源模型，DeepSeek的橫空出世令硅谷的“燒錢模式”遭到猛烈質(zhì)疑。

有分析稱，Grok 3的算力消耗為DeepSeek V3的263倍，盡管前者在數(shù)學(xué)推理和編程能力上表現(xiàn)更優(yōu)異，但這彰顯了兩者在資源使用上的極大差異。能耗方面，H100的典型功耗約為700瓦，以此計(jì)算，Grok 3使用的GPU總能耗相當(dāng)于一個(gè)小城市的用電量。假設(shè)電力來源為混合能源（平均碳排放系數(shù)0.5千克二氧化碳/千瓦時(shí)），Grok 3訓(xùn)練產(chǎn)生的碳排放大致相當(dāng)于4萬多輛燃油車一年的碳排放量。

“Grok 3像20支AK綁在一起狂射，DeepSeek像在練定向狙擊，一個(gè)是土豪堆裝備的打法、一個(gè)是在算力有限的情況下壓縮能耗實(shí)現(xiàn)性能最大化，后者強(qiáng)調(diào)了人類在其中的作用和價(jià)值，是真正的AI精神和未來的方向。”有網(wǎng)友如是比喻道。

馬斯克與xAI團(tuán)隊(duì)在Grok 3直播演示中稱，20萬塊GPU需要功率多達(dá)250MW的電力?！埃鎸?duì)電力缺口）我們最初租賃了一大堆發(fā)電機(jī)……又租用了美國(guó)四分之一的制冷能力……從來沒有人建造過如此大規(guī)模的液冷數(shù)據(jù)中心?！彼麄兺瑫r(shí)預(yù)告，xAI已在著手研究下一個(gè)更強(qiáng)大的算力集群，所需電力高達(dá)1.2GW。

不久之前，xAI的超級(jí)計(jì)算機(jī)集群在所在地再度引發(fā)環(huán)保爭(zhēng)議。究其本質(zhì)，正是能耗巨獸Grok 3帶來的環(huán)境壓力。

據(jù)美國(guó)田納西州孟菲斯市當(dāng)?shù)孛襟w日前報(bào)道，xAI計(jì)劃在未來繼續(xù)使用燃?xì)廨啓C(jī)為其超級(jí)計(jì)算機(jī)供電。今年1月，xAI附屬公司CTC Property向田納西州謝爾比縣申請(qǐng)了15臺(tái)燃?xì)廨啓C(jī)的運(yùn)營(yíng)許可證，許可證將允許這些燃機(jī)從2025年6月至2030年6月持續(xù)運(yùn)行。

這批燃?xì)廨啓C(jī)引發(fā)了環(huán)境方面的擔(dān)憂。xAI的設(shè)施位于前伊萊克斯工廠，據(jù)當(dāng)?shù)孛襟w援引許可證申請(qǐng)文件數(shù)據(jù)，該燃機(jī)每年受控和不受控有害空氣污染物（HAP）的排放量為11.51噸，超過美國(guó)環(huán)保署（EPA）對(duì)單一排放源HAP設(shè)置的每年10噸上限。在xAI設(shè)施周邊5英里范圍內(nèi)居住的居民接近2.2萬人。

環(huán)保組織南方環(huán)境法中心（Southern Environmental Law Center）發(fā)言人稱，這些燃?xì)廨啓C(jī)自2024年夏季以來一直在運(yùn)行，xAI在未向公眾發(fā)出通知，也未受到監(jiān)管的情況下啟用燃機(jī)，使得孟菲斯本就很差的空氣質(zhì)量更加糟糕。

xAI與當(dāng)?shù)丨h(huán)保群體之間的矛盾存在已久。去年8月，南方環(huán)境法中心向當(dāng)?shù)丨h(huán)保當(dāng)局提出質(zhì)疑，要求核實(shí)xAI是否在沒有空氣許可證的情況下使用燃?xì)廨啓C(jī)為其超級(jí)計(jì)算機(jī)供電。

管理當(dāng)?shù)仉娋W(wǎng)的孟菲斯電力、煤氣和水務(wù)公司（MLGW）在1月份告訴市議會(huì)，燃?xì)廨啓C(jī)是暫時(shí)的，xAI的算力擴(kuò)充計(jì)劃需要額外的150MW電力，MLGW仍在研究這對(duì)于當(dāng)?shù)仉娏ο到y(tǒng)的影響。

澎湃新聞?dòng)浾?楊漾

(本文來自澎湃新聞，更多原創(chuàng)資訊請(qǐng)下載“澎湃新聞”APP)