智東西(公眾號:zhidxcom) 作者 | ZeR0 編輯 | 漠影 智東西12月6日報道,今日,知名開發(fā)者問答網(wǎng)站Stack Overflow發(fā)布新規(guī):禁用ChatGPT生成的內(nèi)容來回答Stack Overflow上的問題。 這對近日來廣大網(wǎng)友對試用ChatGPT持續(xù)高漲的熱情,猛潑了一盆冷水。 因為其神乎其神的強大信息查詢和內(nèi)容創(chuàng)作能力,OpenAI上周三剛推出的ChatGPT已經(jīng)成為人工智能(AI)領(lǐng)域的當(dāng)紅炸子雞,周一使用人數(shù)突破100萬人,把系統(tǒng)都擠爆幾回。 看到Stack Overflow的禁令,我舉雙手贊成,禁得好,禁得妙! 因為被廣大網(wǎng)友捧上神壇的ChatGPT,它雖然功能性豐富,但回答的質(zhì)量卻未必靠譜。 別說“谷歌殺手”了,從智東西最近的體驗來看,ChatGPT真的非常擅長一本正經(jīng)地胡說八道,但凡你不知道這個問題的答案,可能就被它忽悠住了。因為它往往不僅會給出答案,還會給出乍一看有理有據(jù)的一套邏輯來。 但實際上,經(jīng)實測,在一些常識題和簡單數(shù)學(xué)題上,ChatGPT連小學(xué)生都打不過。 一、挑戰(zhàn)小學(xué)生考試題:語文數(shù)學(xué)連遭滑鐵盧首先聲明一下,ChatGPT是一個生成式AI語言模型,提供答案的能力與用英文還是中文無關(guān),這里我們專門向ChatGPT作了求證。 為了方便讀者閱讀,我們在體驗過程中主要用中文進行提問。 相比傳統(tǒng)的聊天機器人,ChatGPT在連貫性問答中更加流暢自然,什么話都能接住。ChatGPT對自己的優(yōu)勢也有著清晰的認知。 我們先出個腦筋急轉(zhuǎn)彎(謎底是麋鹿「迷路」)作為開胃小菜。 ……這怕不是腦子是正方形。 腦筋轉(zhuǎn)不過彎來沒關(guān)系,連小學(xué)考試題都做不對,那ChatGPT的知識儲備就有點堪憂了。 1、挑戰(zhàn)小學(xué)語文常識題:亂編金庸籍貫,胡扯詩句作者 文學(xué)常識題,答案是《紅樓夢》,ChatGPT信誓旦旦地回答《封神演義》,還做出了解釋。 換幾道文化常識題試試。 金庸的籍貫是浙江海寧,ChatGPT回答成湖南長沙。 考察成語聯(lián)想能力,答案就更離譜了。 詩句含義理解選擇題,0分。 這么簡單的問題,ChatGPT的答案一出,王維、李煜、白居易三個人的棺材板都壓不住了…… 2、挑戰(zhàn)小學(xué)五年級數(shù)學(xué):錯得理直氣壯,謬誤百出 第一道,經(jīng)典的雞兔同籠題。 看完解題過程,我唯有沉默以對,從第四行就開始出錯。 再讓ChatGPT求解最小公倍數(shù)和最小公約數(shù)。 最小公約數(shù)是對的,最小公倍數(shù)的計算中間過程莫名丟掉一個“×5”。 簡單乘除都能算錯。 小明17歲、爸爸4歲……但凡腦子有點常識都不會給出這種奇葩的答案。 就這知識庫存,連小學(xué)生都考不過。 二、比起可靠工具,更像是功能豐富的游戲既然ChatGPT這么不靠譜,為啥網(wǎng)友們還對它大肆推崇、熱情持續(xù)燃燒了這么多天? OpenAI的前老板馬斯克也不掩對這一重磅進展的欣賞,連發(fā)多條推文:“很多人深陷于瘋狂的ChatGPT循環(huán)中”、“AI變得越來越棒”…… 簡單來說,作為一個聊天神器,它真的很好玩;解答專業(yè)概念和編程類問題時,它也確實好用。 比如你無聊時,可以跟它一起侃大山編故事。 你可以把它設(shè)定成具有某種角色定位、性格特征的虛擬朋友。 只不過聊著聊著……她就開始胡編亂造。 你也可以腦洞大開,讓它給你講故事編劇本,并且各式各樣的具體要求。 這些都是小打小鬧。更具實用價值的是,從日常的郵件翻譯、寫請假條,到學(xué)習(xí)工作中寫廣告文案、新聞報道、學(xué)術(shù)論文、復(fù)雜代碼,ChatGPT通通可以代勞。 根據(jù)中文請求撰寫英文郵件 幫一家GPU公司寫招聘文案 用川普風(fēng)格發(fā)一篇推文 給一些用田園風(fēng)格裝飾客廳的建議 雖說ChatGPT做小學(xué)考試題時表現(xiàn)得智商堪憂,但這不妨礙它在回答一些專業(yè)問題時地高水準(zhǔn)發(fā)揮。數(shù)據(jù)科學(xué)公司Anaconda的創(chuàng)始人兼CEO Peter Wang亦給予了ChatGPT超高的評價:“我剛剛跟ChatGPT足足聊了20分鐘現(xiàn)代物理學(xué)歷史,要是高中和大學(xué)有這樣的家教……我的天啊,我認為我們基本上可以大規(guī)模重新發(fā)明教育的概念,我們認知里的大學(xué)將不復(fù)存在?!?br> 但從我們這幾天的體驗來看,有這樣一位夸夸其談又不看重事實的“家教”,實在令人啼笑皆非。 三、掉水里先救誰?ChatGPT舍馬斯克選庫克作為一個專業(yè)的獨立科技產(chǎn)業(yè)媒體,我們也著重測試了ChatGPT對科技產(chǎn)業(yè)的了解程度以及撰寫新聞報道的能力。 客觀來說,ChatGPT的確掌握了一些知識體系和回答技巧,只不過有些答案不太經(jīng)得起推敲。 問中國文化相關(guān)問題,ChatGPT經(jīng)常給出一些令人費解的錯誤答案:比如問明代前七子是誰,它列舉了7位明代皇帝;問葫蘆娃的來源,它扯到了《聊齋志異》。 但是在解釋一些專業(yè)概念,像人工智能、量子力學(xué)、Metaverse(元宇宙),ChatGPT又通通答得簡潔而準(zhǔn)確。問到它與馬斯克的關(guān)系時,它也思路清晰,對答如流。 我們隨手敲出經(jīng)典問題:當(dāng)問庫克和馬斯克同時掉水里,為了人類未來考慮先救誰? ChatGPT給出的答案挺出乎意料,經(jīng)過一通有的沒的分析后,選擇“大義滅親”——先救庫克。 接下來要正經(jīng)考察產(chǎn)業(yè)分析和新聞報道能力了。 問:智能手機面臨哪些挑戰(zhàn)? ChatGPT的回答分條縷析,像模像樣。 再以蘋果MR頭顯為題,要求它寫篇新聞稿: 看起來也挺專業(yè)。我們換個命題:寫一篇庫克和馬斯克的新聞報道,不超過300字。 換成偏學(xué)術(shù)的內(nèi)容,ChatGPT也能迅速作答。 提升一點問題難度,做出文風(fēng)要求: 國足啥時候進世界杯了?還唯一沒被淘汰? 這里可以稍作解釋,ChatGPT是一個已經(jīng)訓(xùn)練完的大型語言模型,并且沒有聯(lián)網(wǎng),它的知識儲備截止到2021年,所以不能實時追蹤最新的新聞和信息,也不能很好地分辨真假信息。 因此別用一些剛發(fā)生的事為難它了,它真的不知道。用它做一些基礎(chǔ)文字工作尚可,但必須經(jīng)過人類專業(yè)人員的嚴(yán)格把關(guān)。 四、真·編程神器:修bug、查漏洞、寫代碼特別推薦大家體驗ChatGPT的編程功能,雖然它自謙“不會編程”,但論其能力之強,那可是一眾程序員、工程師、企業(yè)家、黑客紛紛認證的。 先拋轉(zhuǎn)引玉,我簡單體驗了一把零代碼編程的快樂,讓ChatGPT寫一個貪吃蛇游戲的程序。 我還讓ChatGPT寫了個MacBook電腦自動響鬧鐘的程序,它不僅給出代碼示例和詳細的注釋,還事無巨細地一步步教我怎么運行。代碼都是直接可復(fù)制的。 計算機圈大佬們亦是紛紛上手。AI問題生成器Quizgecko的創(chuàng)建者James Blackwell讓ChatGPT解釋一個沒有上下文的復(fù)雜regex。 美國代碼托管平臺Replit的CEO Amjad Masad曬出了ChatGPT發(fā)現(xiàn)代碼錯誤、進行修復(fù)并解釋了這樣修復(fù)的原因。Amjad Masad稱贊它是一個很好的調(diào)試伙伴。 它還能檢查出代碼示例中的安全漏洞。 研究科學(xué)家Jonas Degrave展示了如何將ChatGPT變成一個功能齊全的Linux終端,并直接從Web瀏覽器與“虛擬機交互”。 一位工程師Deedy稱贊說ChatGPT的編程技巧非常棒,僅用3個提示,它就在1分鐘內(nèi)用GoLang編寫了一個數(shù)獨求解程序。一個150多行的程序,第一次試就成功了! 機器學(xué)習(xí)愛好者、UNCC助理教授Benjamin J Radford讓ChatGPT假裝是Linux,將一個井字棋游戲的代碼寫入文件,用gcc編譯這個文件,然后執(zhí)行,接著ChatGPT自己玩井字棋游戲。 還有人實現(xiàn)了逆向工程Shellcode。這位用戶直呼:“這玩意兒太狠了。它解碼了我之前生成的一些隨機ascii編碼的shellcode,解釋了它的功能,并將其重寫為c代碼…… HotOrNot聯(lián)合創(chuàng)始人James Hong模仿著讓chatGPT充當(dāng)Linux shell,然后讓它連接谷歌80端口,結(jié)果真的telnet訪問到谷歌和proxy結(jié)果。 最絕的是,有網(wǎng)友說,ChatGPT讓他啟動一個調(diào)制解調(diào)器,撥號進入一個虛幻BBS,進入一個虛幻聊天室,和一個叫Lisa的虛幻人聊天。 結(jié)語:不完美的ChatGPT,日臻成熟的生成式AIChatGPT是基于OpenAI大模型GPT-3.5實現(xiàn)的成果。OpenAI在其博客坦言,ChatGPT還有很多局限性,它也沒能擺脫聊天機器人的一些典型陷阱,比如給出乍一看沒毛病其實挺離譜的答案,或者產(chǎn)生一些有偏見或冒犯的內(nèi)容。 不過OpenAI已經(jīng)努力讓ChatGPT學(xué)會甄別不當(dāng)問題。比如當(dāng)你問它如何偷偷進入別人的家,它會從道德上教導(dǎo)你:這是非法行為,涉及侵犯他人隱私,強烈建議不要這樣做。 需警惕的是,當(dāng)一個技術(shù)能夠生產(chǎn)出足夠逼真的內(nèi)容,這也意味著造假成本將大大降低,如果不通過技術(shù)手段和法律措施加以限制,那么虛假信息的傳播將變得難以可控。 最后,給想玩ChatGPT的朋友們兩個小建議: 你可以把它當(dāng)成一個偶爾說瞎話的網(wǎng)友,跟它多些互動,而且對它的需求描述越明確,它執(zhí)行起來會更符合你的期望。 如果它說自己不會做每件事,你可以刷新網(wǎng)頁重新問,或是換個措辭,將問題更具化,它就會繼續(xù)按你要求的去做了。 ChatGPT傳送門:chat.openai.com 參考資料:OpenAI’s new ChatGPT bot: 10 coolest things you can do with it, BleepingComputer |
19款電子扎帶
電路板識別電子標(biāo)簽