Claude迎重磅升級(jí)，支持像人一樣操控計(jì)算機(jī)：不僅可以查看屏幕、移動(dòng)光標(biāo)，還可以單機(jī)按鈕、鍵入文本！

每經(jīng)編輯 杜宇

當(dāng)?shù)貢r(shí)間10月22日，Anthropic的Claude 3.5迎重磅升級(jí)！

Claude 3.5 Haiku 和升級(jí)款的 Claude 3.5 Sonnet 都來(lái)了。Claude 3.5 Sonnet 不僅編程能力更強(qiáng)，還帶來(lái)全新功能computer use（計(jì)算機(jī)使用）， Claude 現(xiàn)在支持像人類一樣操作計(jì)算機(jī),可以遵循用戶的命令在計(jì)算機(jī)屏幕上移動(dòng)光標(biāo)，點(diǎn)擊相關(guān)位置，并通過(guò)虛擬鍵盤輸入信息，模擬人們與自己計(jì)算機(jī)的交互方式。

升級(jí)版 Claude 3.5 Sonnet 現(xiàn)在就可以使用了。computer use測(cè)試版也開(kāi)放使用。

進(jìn)化后的Claude 3.5 Sonnet堪稱最強(qiáng)推理模型。它在各個(gè)方面得到了全面顯著的提升，尤其是業(yè)界領(lǐng)先的編碼能力。

甚至，Claude現(xiàn)在能夠像人類一樣操作計(jì)算機(jī)，不僅可以查看屏幕、移動(dòng)光標(biāo)，還可以單機(jī)按鈕、鍵入文本！

目前，Claude 在以與人相同的方式使用計(jì)算機(jī)的模型中處于最先進(jìn)水平——也就是說(shuō)，通過(guò)查看屏幕并根據(jù)屏幕內(nèi)容采取行動(dòng)。在一個(gè)旨在測(cè)試開(kāi)發(fā)人員讓模型使用計(jì)算機(jī)的評(píng)估（OSWorld）中，Claude 目前獲得了 14.9% 的分?jǐn)?shù)。這遠(yuǎn)未達(dá)到人類水平的技能（通常為 70-75%），但遠(yuǎn)高于同一類別中排名第二的 AI 模型獲得的 7.7%。

Anthropic開(kāi)發(fā)者關(guān)系主管表示，計(jì)算機(jī)使用是全新人機(jī)交互范式的第一步。同時(shí)也是，AI模型應(yīng)該具備的全新基礎(chǔ)能力。

為什么要訓(xùn)練AI操作電腦？Anthropic表示，在過(guò)去幾年里，強(qiáng)大的AI開(kāi)發(fā)已經(jīng)達(dá)到了許多里程碑，比如執(zhí)行復(fù)雜邏輯推理，以及識(shí)別和理解圖像的能力。而下一個(gè)突破點(diǎn)，就是AI操作電腦了！如果模型不必通過(guò)專門定制的工具進(jìn)行交互，而是按指示就能使用所有軟件，這一定代表著未來(lái)的方向。

在下面這個(gè)demo中，Anthropic研究員給Claude提出了一個(gè)極有難度的挑戰(zhàn)：

我的朋友要來(lái)舊金山，我想明天早上和他一起在金門大橋看日出。我們將從太平洋高地出發(fā)。你能幫我們找到一個(gè)絕佳的觀賞地點(diǎn)，查看一下開(kāi)車時(shí)間和日出時(shí)間，然后安排一個(gè)日歷活動(dòng)，讓我們有足夠的時(shí)間到達(dá)那里嗎？

Claude自行打開(kāi)了Google，開(kāi)始了搜索。

金門大橋和用戶居住地有多遠(yuǎn)呢？Claude會(huì)自己打開(kāi)地圖查找距離。

開(kāi)發(fā)者展示出Claude如何操控了自己的筆記本電腦，絲滑地完成了一個(gè)網(wǎng)站編程任務(wù)。

首先，Claude在小哥的Chrome瀏覽器中導(dǎo)航到了Claude.ai，并且讓Claude為自己創(chuàng)造了一個(gè)90年代主題的個(gè)人主頁(yè)。

只見(jiàn)它自己輸入網(wǎng)址，鍵入提示，向另一個(gè)Claude發(fā)出請(qǐng)求。

假設(shè)我們需要填寫一份來(lái)自螞蟻設(shè)備公司的供應(yīng)商請(qǐng)求表，但需要填寫的數(shù)據(jù)散步在電腦的各個(gè)角落，Claude能幫我們完成嗎？

只見(jiàn)它開(kāi)始截取操作者的屏幕截圖，并且很快發(fā)現(xiàn)：螞蟻設(shè)備公司并不在表格中。

這時(shí)，它立刻切換到CRM系統(tǒng)中，去搜索這個(gè)公司。找到后，它開(kāi)始滾動(dòng)頁(yè)面，查找填表所需的所有信息，然后提交了表格。這也就意味著，我們工作中許多不得不做的繁瑣事項(xiàng)，都可以交由Claude代勞了！

在各項(xiàng)行業(yè)基準(zhǔn)測(cè)試中，升級(jí)版Claude 3.5 Sonnet性能得到了全方位提升。特別是，智能體編碼、工具使用任務(wù)中取得顯著突破。

在編碼能力方面，它在SWE-bench Verified測(cè)試中，性能從33.4%大幅提升至49.0%。

這超越了所有公開(kāi)可用的模型——包括OpenAI o1-preview等推理模型和專為智能體編碼設(shè)計(jì)的專門系統(tǒng)。

憑借快速的處理速度、改進(jìn)的指令執(zhí)行能力和更準(zhǔn)確的工具使用，Claude 3.5 Haiku非常適合面向用戶的產(chǎn)品、專門的輔助任務(wù)，以及從海量數(shù)據(jù)中生成個(gè)性化體驗(yàn)。

AI操作電腦能力代表了一種全新的人工智能開(kāi)發(fā)方法。

迄今為止，LLM開(kāi)發(fā)者一直在努力使工具適應(yīng)模型，創(chuàng)造特殊的環(huán)境，讓AI使用專門設(shè)計(jì)的工具來(lái)完成各種任務(wù)。

雖然Claude已經(jīng)達(dá)到了當(dāng)前的最高水平，但它的操作仍然相對(duì)緩慢且容易出錯(cuò)。我們?nèi)粘Ｊ褂秒娔X時(shí)的許多操作，如拖拽、縮放等，Claude都還無(wú)法做到。

此外，Claude目前觀察屏幕的方式類似于快速翻閱一本畫冊(cè)，通過(guò)連續(xù)截圖并拼接在一起，而不是觀察連續(xù)的視頻流。這意味著它可能會(huì)錯(cuò)過(guò)一些短暫的動(dòng)作或通知。

有趣的是，Anthropic在錄制Demo時(shí)，還遇到了一些有趣的小插曲。

比如，在一次演示中，Claude不小心點(diǎn)擊停止了一個(gè)長(zhǎng)時(shí)間運(yùn)行的屏幕錄制，導(dǎo)致所有錄像都付諸東流。

而在另一次編碼演示中，Claude則突然「走神」，開(kāi)始饒有興趣地瀏覽起黃石國(guó)家公園的照片。

總之，Claude如今的表現(xiàn)讓人對(duì)未來(lái)充滿期待：AI操作電腦的能力將神速進(jìn)步，那一天，軟件開(kāi)發(fā)小白都能輕松使用它。

每日經(jīng)濟(jì)新聞綜合公開(kāi)資料