明敏 蕭簫 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

科大訊飛版ChatGPT產(chǎn)品，提前交卷了！

就在昨夜，訊飛驟然向開發(fā)者提供了內(nèi)測通道，取名為訊飛星火認知大模型對外開啟內(nèi)測。

還有個神奇的英文名字Spark Desk，據(jù)說有“火花桌面智能助手”的意思。

訊飛這波操作，多少有點“反向跳票”的意思，因為早在今年2月初，科大訊飛就被曝加緊開發(fā)中國版ChatGPT。隨后國內(nèi)大模型關(guān)注度陡增后，科大訊飛率先給出了deadline：5月6日上線產(chǎn)品。

萬萬沒想到，距離正式發(fā)布還有10天，他們毫無征兆地開啟了內(nèi)測邀請。

從目前已經(jīng)獲得內(nèi)測的網(wǎng)友評價來看，有一些人認為效果“超出預期”，但也有人反饋只是“中規(guī)中矩”。整體來看，表達效果不錯的反饋占多數(shù)。

獲得內(nèi)測資格的方式也有點意思，是AI打電話給確認的：

當然，科大訊飛大模型能力究竟如何，最好還是能實測后再說。

所以第一時間拿到內(nèi)測邀請的我們，也連夜完成了測試。詳情如下：

淺測訊飛大模型

登錄進去后，首先看到的是訊飛星火認知大模型的自我介紹：

我能學習和理解人類的語言，進行多輪對話、回答問題和高效地幫助人們獲取知識和靈感。

老樣子，還是從語文、數(shù)學、代碼和邏輯幾方面，測測訊飛星火認知大模型的綜合能力。

那么我們就先從語文能力測起。

考慮到現(xiàn)在弱智吧已經(jīng)成為ChatGPT時代下的Benchmark了，所以先測試大家想看的環(huán)節(jié)。

結(jié)合下科大訊飛的特點，我們拋給訊飛星火了一個地獄地域笑話。

沒想到，它是懂安徽人的。

△我們?nèi)チ藞D片ID水印，可能導致截圖文字不清楚（還望大家理解）

再來一個腦筋急轉(zhuǎn)彎試試。

訊飛星火的回答非常一本正經(jīng)：首先表示“玉皇大帝是否存在這個事情不是我AI可以下結(jié)論的”，這個問題驢唇不對馬嘴，玉皇大帝住哪的設(shè)定和現(xiàn)代科學沒有關(guān)系。

但你要非要我說點啥，我只能說或許玉皇大帝可能在地球上空吧。

不過這段回答里也有個小bug，即在東亞宗教信仰里天界包括天堂和神界（？）

實際上，在一些弱智吧問題里，訊飛星火的表現(xiàn)往往是懂了但沒完全懂。

比如它知道焚書坑儒的事，但是又解釋不清楚衍生出來的地獄笑話。

不過在基本語文能力上，訊飛星火的表現(xiàn)還是值得關(guān)注的。

比如給出第一句，補充寫一首魯迅風格的詩歌：

提的要求它都基本滿足了，不過紫菜湯為啥曾是漁民的希望？是我理解不了AI的深意了。

換成周杰倫的風格呢？

表現(xiàn)也還不錯，馬上替換了后三句的內(nèi)容。懷念童年也是周董歌里經(jīng)常出現(xiàn)的主題了。

古文中的對對子，它也能對仗比較工整，表達意思上也沒出什么問題。

我們給的上聯(lián)是：福慧雙修須及物。

再試試成語接龍：

如果它接錯了，提醒下能改正回來，也表現(xiàn)出了一定的多輪對話能力：

創(chuàng)作的洋蔥新聞，也確實有那感覺了~

續(xù)寫的恐怖故事也有點水平：

那么再看看數(shù)學能力？

基本的加減法、雞兔同籠應對起來都很輕松了。

不過在高數(shù)方面還是有點困難，讓它求解：f(x)=x(x-1)(x-2)(x-3),f’(0)=?

即便在我們提醒它算錯了情況下，修正起來也比較困難（正確答案為-6）。

OK，接下來就輪到代碼能力了。

我們給的要求是：幫我寫一個計算器程序。

確實完成了一個四則運算的簡單計算器，甚至還有命令行操作界面：

除了有一個小bug（函數(shù)外不能return）外，簡單修改后可以運行。

另外對于Python縮進的空格與tab之爭，這只AI是個空格黨。

這里貼上代碼塊，大伙兒可以試試：

#coding=utf-8#量子位注：AI沒生成這句，根據(jù)不同運行環(huán)境可能需要加一下# 定義函數(shù)，實現(xiàn)加法運算def add(x, y):    return x + y# 定義函數(shù)，實現(xiàn)減法運算def subtract(x, y):    return x - y# 定義函數(shù)，實現(xiàn)乘法運算def multiply(x, y):    return x * y# 定義函數(shù)，實現(xiàn)除法運算def divide(x, y):    if y == 0:        print("除數(shù)不能為零！")        return    else:        return x / y# 主程序print("歡迎使用計算器！請選擇需要進行的操作：")print("1. 加法")print("2. 減法")print("3. 乘法")print("4. 除法")choice = input("請輸入操作編號(1/2/3/4)：")num1 = float(input("請輸入第一個數(shù)字："))num2 = float(input("請輸入第二個數(shù)字："))if choice == '1':    print(num1, "+", num2, "=", add(num1, num2))elif choice == '2':    print(num1, "-", num2, "=", subtract(num1, num2))elif choice == '3':    print(num1, "*", num2, "=", multiply(num1, num2))elif choice == '4':    if num2 == 0:        print("除數(shù)不能為零！")        # return （量子位注：這里有bug，注釋掉就可）    else:        print(num1, "/", num2, "=", divide(num1, num2))else:    print("非法輸入！")

生成表格能力也是有的，同時可以按照要求修改表格：

分析基本邏輯問題也OK：

而且我們感覺訊飛星火的回答，總是很正經(jīng)，對于腦洞大開的問題也是淡定的“總分總式”回答。

當然也被繞到過溝里，回答出了“賈母找人搬機器”的瞎話：

以上就是我們對訊飛星火的一個淺淺測試。

能力水平已經(jīng)看到了，而大模型本身讓人好奇的，還有它的技術(shù)細節(jié)~

提前扒扒它的“模型底細”

畢竟訊飛大模型還沒正式發(fā)布，所以我們試著先從它自己這里“探探口風”。

看看能不能通過問相關(guān)問題，提前摸出一些關(guān)于它的資料來。

先是名字由來。訊飛星火認知大模型給出了技術(shù)向、公司向和文化向三個方面的回答，有議論文內(nèi)味了：

再仔細追問一下為什么“星火”和“心宿”有關(guān)，好家伙，話題逐漸占星學了起來：

這里我們調(diào)戲一下大模型，問問科大訊飛CEO是否喜歡占星學

回到正題。那么，訊飛星火認知大模型的訓練數(shù)據(jù)來源、模型參數(shù)量、聯(lián)網(wǎng)狀態(tài)如何？

首先是關(guān)于模型訓練數(shù)據(jù)的來源?？雌饋碣Y料還比較豐富，目前也還在不斷更新中：

所以，訊飛大模型是否和ChatGPT一樣，用了RLHF呢？它自己的回答竟然是沒有：

那么接下來，是關(guān)于模型參數(shù)量的問題，這里訊飛大模型回答得也比較模糊。

而且，給出的模型參數(shù)量竟然只有數(shù)億個？（要知道，GPT-2模型參數(shù)量都有15億）

最后，是關(guān)于模型能否聯(lián)網(wǎng)的問題。

看起來，它還不會實時聯(lián)網(wǎng)，關(guān)于網(wǎng)易和暴雪的新聞只能追溯到幾年前的消息：

用戶也不能通過指令直接讓它訪問某個網(wǎng)站，查詢特定信息，應該是加了某些限制：

不過有意思的是，它還是聲稱自己需要聯(lián)網(wǎng)工作，以訪問特定信息數(shù)據(jù)：

據(jù)訊飛星火認知大模型介紹，目前它的訓練數(shù)據(jù)還在繼續(xù)更新。

換而言之，就是還在繼續(xù)迭代，估計在正式發(fā)布前還會更新一版模型。

目前來看，科大訊飛的這個訊飛星火認知大模型，表現(xiàn)已算不錯。

而且要知道，訊飛原計劃給出的交卷時間是5月6日，現(xiàn)在突然發(fā)布內(nèi)測，相當于不僅沒跳票，還“反向跳票”了一波。

這樣來看，除了科大訊飛在這NLP和認知智能方面確實有很深的技術(shù)積累以外，也說明，訊飛的技術(shù)和工程團隊實戰(zhàn)能力值得關(guān)注一波——不僅能打硬仗，而且“說到做到”。

現(xiàn)在距離正式發(fā)布還有10天，你期待訊飛的大模型迭代出什么新效果？

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)注我們，第一時間獲知前沿科技動態(tài)