2025年，中國AI的趨勢(shì)與思考

2024-12-24 13:41| 發(fā)布者: admin| 查看: 124| 評(píng)論: 0

摘要: 讓浦江西岸的風(fēng)吹散AI頭頂?shù)膬啥洹盀踉啤弊髡撸?IT時(shí)報(bào)記者郝俊慧編輯／郝俊慧孫妍“公開的高質(zhì)量數(shù)據(jù)即將用盡了嗎？如何未雨綢繆”“不同具身智能技術(shù)路線的能力邊界在哪里”“我們需要什么樣的AI4S基座模型”“ ...

讓浦江西岸的風(fēng)吹散AI頭頂?shù)膬啥洹盀踉啤?br>
作者／ IT時(shí)報(bào)記者郝俊慧

編輯／郝俊慧孫妍

“公開的高質(zhì)量數(shù)據(jù)即將用盡了嗎？如何未雨綢繆”“不同具身智能技術(shù)路線的能力邊界在哪里”“我們需要什么樣的AI4S基座模型”“當(dāng)前大模型是否遭遇瓶頸”……12月13日～14日，數(shù)十個(gè)人工智能領(lǐng)域最前沿的關(guān)鍵話題出現(xiàn)在浦江西岸，在由上海人工智能實(shí)驗(yàn)室發(fā)起并主辦的首屆“浦江AI學(xué)術(shù)年會(huì)”上，全球150余名人工智能領(lǐng)域?qū)＜覍W(xué)者就這些話題進(jìn)行了深入研討。

兩年前，ChatGPT橫空出世，掀起一場(chǎng)超強(qiáng)的“AI旋風(fēng)”；最近，OpenAI用連續(xù)12天的發(fā)布會(huì)再次讓全球進(jìn)入“AI狂歡”。但不同于兩年前的震驚、興奮與困惑，今天的學(xué)界和產(chǎn)業(yè)界對(duì)于AGI路線有了更多的“中國思考”。

定義“智能”

什么是“智能”？

盡管人工智能這個(gè)詞來源于1956年著名的達(dá)特茅斯會(huì)議，但會(huì)議的發(fā)起人麥卡錫卻并不喜歡這個(gè)名字，“畢竟，我們的目標(biāo)是‘真正的’智能，而非‘人工的’智能?！?br>
2022年底，ChatGPT的出現(xiàn)驚艷了世人，也被認(rèn)為出現(xiàn)了智能“涌現(xiàn)”，但香港大學(xué)計(jì)算與數(shù)據(jù)科學(xué)學(xué)院院長馬毅對(duì)此并不認(rèn)同，他認(rèn)為，GPT有的只是知識(shí)，而不是智能，“智能系統(tǒng)一定是具有自我糾正和自我完善現(xiàn)有知識(shí)體制的系統(tǒng)”。

馬毅最近幾年一直致力于研究“白盒大模型”，“白盒”概念對(duì)應(yīng)的正是基于深度學(xué)習(xí)模型的“AI黑盒說”——盡管大模型給出了令人滿意的結(jié)果，但人們對(duì)其決策過程卻并不了解，甚至輸出結(jié)果很難預(yù)測(cè)和控制，也即出現(xiàn)所謂的“幻覺”。

馬毅認(rèn)為，現(xiàn)有的深度學(xué)習(xí)模型，例如 Transformer（主流大語言模型架構(gòu)），本質(zhì)上是“減墑”，從高維的圖像、聲音、語言等信號(hào)里，不斷壓縮、去噪，然后找到核心規(guī)律、低維結(jié)構(gòu)，而白盒就是要清晰解釋這個(gè)壓縮過程。

2025年，中國AI的趨勢(shì)與思考

Transformer

簡(jiǎn)單理解，與ChatGPT的“暴力出奇跡”不同，“白盒”反其道而行之，試圖先搭建一個(gè)可解釋的框架，然后在這個(gè)框架下設(shè)計(jì)出能被解釋的網(wǎng)絡(luò)和模型。由于知之而為之，大大減少了Transformer架構(gòu)的試錯(cuò)成本，從而從根本上解決當(dāng)前遇到的“數(shù)據(jù)墻”和“算力墻”問題。

稀宇科技創(chuàng)始人閆俊杰則認(rèn)為，智能的定義可以非常廣泛，黑盒模型在某些應(yīng)用中足夠，但白盒模型在理解人類的智能上可能有優(yōu)勢(shì)。盡管當(dāng)前的模型和產(chǎn)品已取得一定進(jìn)展，但未來將會(huì)有更多創(chuàng)新出現(xiàn)，不同研究機(jī)構(gòu)和企業(yè)將提出各自對(duì)智能的理解，并在特定領(lǐng)域內(nèi)超越現(xiàn)有水平。

新解“Scaling Law”

論壇現(xiàn)場(chǎng)，馬毅的觀點(diǎn)迅速成為學(xué)者們熱議的焦點(diǎn)，而在“什么是智能”的問題背后，隱藏著的另一個(gè)提問是，“Scaling Law（尺度定律）還能走多久？”

大洋彼岸，幾乎同時(shí)舉行的另一場(chǎng)學(xué)術(shù)重磅會(huì)議——NeurIPS 2024上，OpenAI的前首席科學(xué)家Ilya Sutskever語出驚人，“預(yù)訓(xùn)練時(shí)代即將終結(jié)（Pre-training as we know it will end）”，理由是作為AI發(fā)展燃料的數(shù)據(jù)即將枯竭，依賴海量數(shù)據(jù)的預(yù)訓(xùn)練模型將難以為繼。

數(shù)據(jù)枯竭、算力昂貴、效果下降……最近半年，Scaling Law“撞墻”的反思頻繁出現(xiàn)在學(xué)術(shù)界和工業(yè)界。閆俊杰指出，當(dāng)前全球有效數(shù)據(jù)被清洗后大概只有20萬億Token。

同時(shí)，要想和人腦實(shí)現(xiàn)同樣功能的計(jì)算量是巨大的，圖靈獎(jiǎng)得主楊立昆在其新書《科學(xué)之路》中指出，為了達(dá)到人腦的計(jì)算能力，必須將10萬個(gè)GPU連接上功耗至少25兆瓦的巨型計(jì)算機(jī)才能實(shí)現(xiàn)，能量消耗是人腦的 100 萬倍，因此深度學(xué)習(xí)的能力十分強(qiáng)大卻又十分有限。

2025年，中國AI的趨勢(shì)與思考

圖源：pixabay

“根據(jù)我們的觀察，隨著大模型規(guī)模的不斷擴(kuò)大，歸納相關(guān)的能力快速提升，而且可能會(huì)繼續(xù)遵循Scaling Law，但其演繹能力，包括數(shù)學(xué)和推理方面的能力，隨著模型Side進(jìn)一步提升，不僅沒有增長，反而在下降?！睍?huì)議間隙，階躍星辰首席科學(xué)家張祥雨告訴《IT時(shí)報(bào)》記者，他對(duì)萬億以上參數(shù)大模型的能力提升，并不絕對(duì)樂觀。

包括OpenAI在內(nèi)的全球頂尖AI公司和科學(xué)家們都在“另辟蹊徑”。北京時(shí)間12 月 6 日凌晨2點(diǎn)鐘，OpenAI 宣布推出滿血版o1和o1 pro mode，緊接著，谷歌祭出最強(qiáng)下一代新模型Gemini 2.0 Flash，第一時(shí)間都“嘗鮮”之后，張祥雨對(duì)兩個(gè)大模型的創(chuàng)新頗為贊賞，不過，雖然“視覺和推理都有很大突破，但離真正的AGI仍有很長的路要走，未來需要更智能的目標(biāo)導(dǎo)向和試錯(cuò)機(jī)制”。

2025年，中國AI的趨勢(shì)與思考

Gemini 2.0 Flash

大會(huì)圓桌論壇階段，上海人工智能實(shí)驗(yàn)室主任助理、領(lǐng)軍科學(xué)家喬宇同樣表示，在通往AGI的路線上仍需要突破3～4個(gè)關(guān)鍵挑戰(zhàn)，目前，大模型并不具備人類的推理、情感、倫理等戰(zhàn)略性思考能力，“并不是說Scaling Law要被拋棄了，而是應(yīng)該尋找新的Scaling Law維度，很多難題并不能單純靠擴(kuò)大模型規(guī)模、數(shù)據(jù)、算力解決，我們需要更豐富的模型架構(gòu)和更高效的學(xué)習(xí)方法，同時(shí)也希望在AGI發(fā)展過程中，能有來自中國的核心貢獻(xiàn)，找到與中國資源稟賦更加匹配的、自主的技術(shù)路線”。

面向2025的“中國思考”

那么，面對(duì)即將到來的2025年，當(dāng)OpenAI、谷歌扔出一個(gè)又一個(gè)“王炸”時(shí)，中國科學(xué)家們將在哪些領(lǐng)域攜手突破呢？

經(jīng)歷了兩年的“狂飆”之后，大模型的發(fā)展目標(biāo)逐漸出現(xiàn)分化：一部分人求解高難度的科學(xué)問題，在數(shù)學(xué)、物理等尖端問題上探索大模型的上限；另一部分人則更關(guān)注大模型的落地和穩(wěn)定性，期待提高模型的下限。

上個(gè)月，上海人工智能實(shí)驗(yàn)室按照通專融合AGI路徑，在第一階段構(gòu)建并發(fā)布了強(qiáng)推理模型書生InternThinker，它解決問題的路徑更接近人類學(xué)習(xí)方式的路徑，面對(duì)復(fù)雜的推理任務(wù)時(shí)，并非從海量的樣本中學(xué)習(xí)單點(diǎn)知識(shí)，而是學(xué)習(xí)人類的思維模式——先回憶所需知識(shí)，再逐步推理和計(jì)算，最終給出準(zhǔn)確解答，如果某條推理路徑失敗，它能夠快速調(diào)整思路，嘗試新的解決方案，體現(xiàn)出獨(dú)特的深度推理與專業(yè)泛化能力的結(jié)合。

通過這種方法，InternThinker在“24點(diǎn)”等高難度數(shù)學(xué)題以及編程題的解決中展現(xiàn)了卓越的能力，不僅完成了解答，還進(jìn)行了系統(tǒng)的自我檢查與反思，確保結(jié)果的準(zhǔn)確無誤。

2025年，中國AI的趨勢(shì)與思考

“如果說，通用大模型已經(jīng)具備了高中知識(shí)，那專用大模型就是在此基礎(chǔ)上再學(xué)習(xí)大學(xué)的專業(yè)知識(shí)，未來希望能夠?qū)⒋髮W(xué)的知識(shí)慢慢融入高中教學(xué)中，”上海人工智能實(shí)驗(yàn)室領(lǐng)軍科學(xué)家歐陽萬里表示，實(shí)驗(yàn)室正在進(jìn)一步探索通專融合的技術(shù)路線。

喬宇則希望，新的一年中，多模態(tài)大模型的涌現(xiàn)能力能夠像語言大模型一樣取得重要的突破，上海人工智能實(shí)驗(yàn)室最近發(fā)布的書生萬象2.5已經(jīng)在多模態(tài)思想鏈（Chain-of-Thought CoT）上取得突破，成為首個(gè)MMMU測(cè)試（一個(gè)大規(guī)模多學(xué)科多模態(tài)理解和推理基準(zhǔn)測(cè)試）突破70%的開源多模態(tài)大模型。

張祥雨同樣希望多模態(tài)大模型實(shí)現(xiàn)理解和生成一體化，可以直接在視覺空間里理解并完成視覺推理，通過新范式的加持，讓Scaling Law重新與智能程度的發(fā)展正相關(guān)。

清華NLP實(shí)驗(yàn)室劉知遠(yuǎn)教授團(tuán)隊(duì)則提出了大模型的密度定律（densing law）：自2023年以來，模型能力密度隨時(shí)間呈指數(shù)級(jí)增長，約每100天翻一倍，這意味著，當(dāng)前訓(xùn)練出的一個(gè)模型，100天后，只需一半的參數(shù)就可以實(shí)現(xiàn)相同的能力。

基于此規(guī)律，一年后，一個(gè)58B參數(shù)規(guī)模的大模型就可以復(fù)現(xiàn)750B參數(shù)大模型一樣的效果。同時(shí)，隨著芯片電路密度（摩爾定律）和模型能力密度（密度定律）持續(xù)增強(qiáng)，意味著主流終端如PC、手機(jī)將能運(yùn)行更高能力密度的模型。

“我們大膽預(yù)測(cè)，只要是這個(gè)世界上能夠訓(xùn)練出的模型，未來一定會(huì)在某個(gè)時(shí)刻跑在終端上，這也揭示了端側(cè)智能巨大的潛力?！眲⒅h(yuǎn)認(rèn)為，未來應(yīng)該不只是追求規(guī)模更大的模型，而應(yīng)該追求更高的模型制造工藝，尋找更加陡峭的成長曲線，從而讓大模型可以實(shí)現(xiàn)高質(zhì)量可持續(xù)的發(fā)展。

“和100多年前的物理界一樣，當(dāng)前的人工智能領(lǐng)域頭頂也有兩朵烏云：一朵是下一代智能系統(tǒng)一定是有自主連續(xù)增量學(xué)習(xí)的系統(tǒng)，更接近于人類的個(gè)體智能；另一朵是必須取代DP（動(dòng)態(tài)規(guī)劃）路線，自主學(xué)習(xí)必須是局部的、高效的，當(dāng)前（大模型得出同樣結(jié)果）的能耗比自然界高出8～9個(gè)數(shù)量級(jí)。”馬毅希望，參會(huì)的年輕科學(xué)家們能“吹散”這兩朵烏云。

萬事之始仍是“人才”

事實(shí)上，上海人工智能實(shí)驗(yàn)室舉辦“浦江AI學(xué)術(shù)年會(huì)”的初衷，正是希望以年會(huì)為載體，推動(dòng)“以問題為導(dǎo)向”的學(xué)術(shù)討論深入開展，通過高質(zhì)量問題激發(fā)更多創(chuàng)新靈感，“互相出好題、互相協(xié)同”，在更高層面實(shí)現(xiàn)產(chǎn)業(yè)合作、協(xié)同創(chuàng)新。

本次大會(huì)主席、上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家周伯文認(rèn)為，當(dāng)前大家都在關(guān)注“Scaling Law”，但接下來“Scaling What”（什么規(guī)模化）？除了業(yè)界關(guān)注的算力、數(shù)據(jù)和最近的推理時(shí)間，他認(rèn)為提升研究者的“Scale”同樣重要，“1911年，首篇關(guān)于原子結(jié)構(gòu)的論文只有三個(gè)人署名，但現(xiàn)在歐洲核子研究中心每次新發(fā)現(xiàn)都有數(shù)百甚至上千名科學(xué)家協(xié)作，如何能夠創(chuàng)造性地發(fā)揮團(tuán)隊(duì)本身的創(chuàng)造力，同時(shí)又能更好地完成團(tuán)隊(duì)間的協(xié)作，實(shí)現(xiàn)更高層面的Scale，我認(rèn)為這是Scaling Law下一階段需要研究的問題?！?br>
令人欣喜的是，本次大會(huì)的另一位主席、清華大學(xué)交叉信息研究院及人工智能學(xué)院院長、上海期智研究院院長姚期智發(fā)現(xiàn)，中國人工智能高端人才培養(yǎng)已經(jīng)進(jìn)入轉(zhuǎn)折點(diǎn)，國內(nèi)大學(xué)培養(yǎng)出的博士，其創(chuàng)新成就和工作成果已可與國際頂尖實(shí)驗(yàn)室“比肩”，這意味著指導(dǎo)這些博士生科研團(tuán)隊(duì)跟師資到達(dá)世界最高水平，下一步，他期待國內(nèi)各個(gè)高校、科研機(jī)構(gòu)進(jìn)一步加大對(duì)年輕科研人員（博士后階段）的培養(yǎng)力度，讓他們能盡快在人工智能科學(xué)道路上獨(dú)當(dāng)一面。

來源：IT時(shí)報(bào)

(本文來自澎湃新聞，更多原創(chuàng)資訊請(qǐng)下載“澎湃新聞”APP)