編輯:編輯部 JHYZ 【新智元導讀】「GPT之父」剛剛被曝從OpenAI離職!他是GPT-1、GPT-2的一作,是Ilya在演講中感謝過的人,被很多人稱為ChatGPT背后的真正先驅(qū)和無名英雄。在推動了預訓練時代,眼看著OpenAI即將接近AGI的時候,他忽然選擇離開。剛剛,「GPT之父」Alec Radford被曝離職OpenAI! 誰也沒想到,OpenAI圣誕12日的特別活動接近尾聲時,居然迎來這樣一枚炸彈。 OpenAI這次失去的,是一位元老級的骨干成員,是真正開創(chuàng)ChatGPT這一迄今為止最大AI突破的人。 2016年加入OpenAI后,他不僅是GPT-1、GPT-2、CLIP、Whisper的一作,還為GPT-3、GPT-4、DALL-E 2/3等技術突破提供了支持,是OpenAI多項美國專利的發(fā)明人。 左右滑動查看 他在機器學習和深度學習領域非常高產(chǎn),論文引用量高達19萬,多篇入選NeurIPS、ICLR、ICML等著名會議,其合作者包括llya、lan Goodfellow等知名學者。 根據(jù)據(jù)The Information報道,就在周四,Radford宣布離職,即將開展獨立研究。據(jù)悉,他之后計劃同時和OpenAI以及其他AI開發(fā)者合作。 OpenAI研究負責人Mark Chen表示,「我們對Alec及其貢獻深表敬意和感謝,并期待在他探索獨立研究的同時繼續(xù)與他合作項目?!?/span> 德?lián)渲浮penAI高級研究科學家曾這樣評價道,「OpenAI真正開始嶄露頭角,是從聘請了一位當時名不見經(jīng)傳的研究員Alec Radford開始的」。 也有人給出了意味深長的發(fā)問:如果OpenAI真的處于AGI的邊緣,為什么這些人還要離開? 真正的「ChatGPT之父」 2016年,對于OpenAI來說,注定是一個轉(zhuǎn)折點。 23歲的傳奇AI研究員Alec Radford選擇加盟,這個決定不僅僅改變了他的職業(yè)生涯,更為AI的發(fā)展掀開了嶄新的一頁。 有人說,Radford扮演的角色,如同谷歌創(chuàng)始人拉里佩奇發(fā)明了PageRank。 他是一位內(nèi)斂、低調(diào)的研究者,幾乎很少露臉,也從未接受過任何采訪。 此前,Radford曾透露自己最大興趣是,讓神經(jīng)網(wǎng)絡能夠與人類進行真正的對話。 入職OpenAI后,他開啟的第一個實驗是,用20億條Reddit評論訓練預言模型,沒想到卻以失敗告終。 當時,總裁Greg Brockman鼓勵到,沒關系,再試試吧。 由于受限于算力,Radford只能在單一領域中進行實驗。接下來,他選擇了亞馬遜電商平臺評論,嘗試讓語言模型簡單預測,并生成和用戶評論的下一個字符。 看似平凡的選擇,卻帶來了意外的收獲:模型不僅能預測評論下一個字符,還能自主判斷評論的情感傾向(積極/負面),甚至根據(jù)要求生成不同風格的評論。 文章鏈接:https://arxiv.org/pdf/1704.01444 正是這個突破,引起了OpenAI前首席科學家Ilya的注意。他接著鼓勵Radford進一步擴展研究范圍——在亞馬遜評論數(shù)據(jù)之外再次嘗試。 2017年,Transformer奠基之作出世,讓Radford的研究迎來質(zhì)的飛躍。 他聯(lián)手Ilya一起,創(chuàng)造了共有1.17億參數(shù)的模型,并將其命名為「Generative Pre-trained Transformer」(GPT)。 這個模型在7000本未出版的學習書籍、Quora問答,以及各類考試文章中,展現(xiàn)出了前所未有的預言理解能力。 更令人驚艷的是,GPT還具備了零樣本學習的能力,在未經(jīng)訓練的領域,同樣擁有專業(yè)級水平。 這種超出預期的能力,讓團隊異常興奮,同時引發(fā)了他們對AI方向的深度思考。 有趣的是,當初代GPT問世時,Radford和團隊選擇了一種低調(diào)的方式,將論文直接發(fā)布在arXiv上,并非提交各大頂會。 a16z著名風投家Marc Andreessen曾這樣描述道,「在2018年-2019年之間,他隱藏在人工智能的角落,默默地在自己的領域潛心研究」。 正是這份堅持,最終改變了人工智能的發(fā)展軌跡。 這正是從這一刻起,傳奇GPT系列開啟了。 OpenAI,正在失去核心員工 Alec Radford的離開,如同一枚重磅炸彈,炸得網(wǎng)友們驚愕不已。 有人說,這位元老對于OpenAI和整個AI研究的影響被低估了。甚至可以說,他的影響力完全不亞于Ilya。 就在Ilya幾天前的NeruIPS 2024演講中,他還特別提到,感謝自己的前同事Alec Radford 因為他不僅是GPT的主要作者,還可能是公司每個重要研究方向的帶頭人。 UC伯克利AI博士Dan Hendrycks表示,自己排名的AI學術影響力榜單中,何愷明和Alec Radford是妥妥的TOP 2。 CS教授、DeepMind高級顧問Jeff Clune表示,我們應該重新為Alec Radford正名。 他是AI研究領域最重要、但卻沒有知名度的人,被低估的人,在重大進步后隱身的人。 Clune教授認為,Alec Radford應該作為現(xiàn)代生成式AI之父被載入史冊。 許多科學家和研究者表示同意:沒錯,Alec Radford是真正的MVP。 好在他的離開雖然對OpenAI是個損失,但他未來肯定不會缺GPU,如果做一些開放研究的話,整個世界都會受益。 也有人猜測道,每當OpenAI發(fā)布重大模型前后,總會有人離開。比如高級語音模式Her發(fā)布后,CTO Mira Murati就離職了。 按照這個規(guī)律,或許GPT-4.5明天就要發(fā)布。(對于GPT-4.5的發(fā)布時間,此前也有很多類似的預測) 對于Alec Radford的離開,很多人表示理解。 一旦初創(chuàng)公司經(jīng)歷最初的飛速發(fā)展期后穩(wěn)定下來,選擇離開公司是很正常的。 他們有人脈、有履歷,可以在任何地方找到想要的工作。甚至還能創(chuàng)辦自己的公司,拿到數(shù)十億美元的融資。 諷刺的是,就在一年前,有網(wǎng)友表示OpenAI的分裂不會對AI未來的軌跡有多大影響,因為成果背后真正的天才是像Ilya和Alec Radford這樣的科學家。 「只要他們還在,OpenAI就不會有任何影響。」 但如今,OpenAI的根基正在動搖。 總結一下,OpenAI在2024年已經(jīng)流失多位元老。 包括首席技術官Mira Murati、研究負責人Bob McGrew,聯(lián)創(chuàng)兼研究員John Schulman,研究副總裁Barret Zoph,安全系統(tǒng)團隊負責人Lilian Weng,聯(lián)創(chuàng)兼前首席科學家Ilya Sutskever,前安全負責人Jan Leike,現(xiàn)在又多了Aled Rad。 可以預見,接下來這份離職名單還會不斷壯大。 |
19款電子扎帶
電路板識別電子標簽