克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

ChatGPT客戶端，支持“讀屏編程”了。

即日起，Mac端的Plus用戶，可以直接讓ChatGPT客戶端讀取開發(fā)工具中的代碼。

目前，包括常用的Xcode和VS Code在內(nèi)，該功能一共支持五款編程工具。

網(wǎng)友Mckay Wrigley表示，這像是在做夢(mèng)一樣，已經(jīng)迫不及待想看到未來(lái)的發(fā)展了。

還有網(wǎng)友說(shuō)，OpenAI宣傳的案例太簡(jiǎn)單了，實(shí)際上這個(gè)功能比演示得更加強(qiáng)大。

Mac版更新的同時(shí)，Windows用戶翹首以待的桌面客戶端也終于全量上線。

Mac端plus用戶可“讀屏編程”

從今天開始，ChatGPT的Mac客戶端可以“讀屏編程”了。

在OpenAI的官方宣傳視頻中，演示者要求給一個(gè)實(shí)例APP添加一個(gè)選項(xiàng)卡。

可以看到ChatGPT自動(dòng)將現(xiàn)有代碼導(dǎo)入會(huì)話，并根據(jù)要求生成了新的完整代碼。

實(shí)際上，這是OpenAI在Mac版ChatGPT客戶端中上線的“Work with Apps”功能，最先覆蓋到編程工具的結(jié)果。

具體來(lái)說(shuō)，目前該功能支持Xcode、VS Code和TextEdit三款I(lǐng)DE或編輯器（其中VS Code需安裝插件），以及Terminal和iTerm這兩款終端型工具。

開始使用之前，需要到系統(tǒng)設(shè)置中為ChatGPT客戶端開啟“輔助功能”權(quán)限。

在三款編輯器中，ChatGPT會(huì)處理最前面的窗口中包含的完整代碼，直到超出窗口長(zhǎng)度限制。

如果在編輯器中選擇了部分內(nèi)容，ChatGPT會(huì)在處理完整窗口的同時(shí)，重點(diǎn)關(guān)注被選中的部分。

而對(duì)于兩款終端類工具，ChatGPT會(huì)處理窗口中的最后200行。

目前該功能已經(jīng)開放給了Plus和Team訂閱用戶，“接下來(lái)幾周”會(huì)覆蓋Enterprise和Edu用戶。

從“Work with Apps”這個(gè)名字可以看出，該功能可能不只面向編程工具，未來(lái)可能支持更多應(yīng)用。

鑒于有爆料稱OpenAI計(jì)劃明年上線其智能體，“Work with Apps”不排除是OpenAI在這個(gè)方向上的初步嘗試。

不過(guò)目前來(lái)看，“Work with Apps”功能是通過(guò)調(diào)用蘋果的“輔助功能”接口實(shí)現(xiàn)，而不是通過(guò)視覺(jué)方式來(lái)讀取屏幕內(nèi)容。

而且根據(jù)現(xiàn)有代碼生成的新內(nèi)容也不能直接導(dǎo)入編程工具，需要手動(dòng)復(fù)制粘貼。

所以，這波ChatGPT的用戶體驗(yàn)，還是受到了一些吐槽。

相比之下，OpenAI的競(jìng)爭(zhēng)對(duì)手Anthropic和谷歌，都已經(jīng)有了基于視覺(jué)的屏幕操作功能。

希望到OpenAI的Agent真正上線那一天，用戶體驗(yàn)也能有所提升。

Windows客戶端全量上線

除了Mac版功能更新，這次OpenAI也給Windows用戶帶來(lái)了好消息——

Windows客戶端已經(jīng)全量上線，免費(fèi)用戶也能使用了。

全量上線的客戶端已經(jīng)支持高級(jí)語(yǔ)音模式，最新推出的搜索功能也安排上了。

類似于Mac里的option+空格，在Windows系統(tǒng)中，可以在任何界面通過(guò)Alt+空格組合鍵來(lái)調(diào)用ChatGPT。

在喚起的彈窗中，可以輸入文本、上傳屏幕截圖、攝像頭拍照或上傳本地文件。

微軟應(yīng)用商店界面顯示，Windows客戶端于9月7日上架，而按照OpenAI官網(wǎng)的信息，測(cè)試版在10月開放給了Plus、Team、Enterprise和Edu這些付費(fèi)用戶。

但總之從即日起，無(wú)論是不是付費(fèi)用戶都可以體驗(yàn)Windows客戶端了。

另外在OpenAI官推公告的評(píng)論區(qū)，有很多網(wǎng)友詢問(wèn)支不支持Windows 10：

關(guān)于這個(gè)問(wèn)題，微軟應(yīng)用商店顯示是支持的，不過(guò)子版本號(hào)需要17763.0（又叫2018年10月更新或版本1809）以上。

參考鏈接：
[1]https://techcrunch.com/2024/11/14/chatgpt-can-now-read-some-of-your-macs-desktop-apps/
[2]https://help.openai.com/en/articles/10119604-work-with-apps-on-macos
[3]https://help.openai.com/en/articles/10003026-windows-app-release-notes