AI 接管人類電腦，未來已來！Claude 自主操控電腦，從編程到科研無所不能，代表著萬能 API。另一邊，OpenAI 內(nèi)部加急研發(fā)多智能體 AI，已經(jīng)有了雛形。

AI 像人一樣操作電腦，已然成為下一個(gè)前沿。兩天前，Anthropic 進(jìn)化版 Claude 3.5 Sonnet 首次實(shí)現(xiàn)自主操控電腦屏幕、移動(dòng)光標(biāo)、完成任務(wù)，驚艷了所有人。

當(dāng)時(shí)，Anthropic 開發(fā)者關(guān)系負(fù)責(zé)人稱，「『計(jì)算機(jī)使用』是萬能的 API，它代表著全新人機(jī)交互范式的第一步」。

拿到測試資格的網(wǎng)友們，瘋狂體驗(yàn)了這項(xiàng)「超能力」。甚至，就連初創(chuàng)公司 CEO 對此贊不絕口，AI 智能體已經(jīng)來臨，你現(xiàn)在可以建立 AI 軍隊(duì)為你工作。

在 Anthropic 加速布局智能體未來同時(shí)，OpenAI 似乎也感受到了緊迫感。外媒最新爆料稱，OpenAI 內(nèi)部正開發(fā)新品來自動(dòng)化復(fù)雜的軟件編程任務(wù)。

恰在昨天，OpenAI 研究科學(xué)家、德?lián)渲冈?TED 活動(dòng)中表示，「自己對構(gòu)建 o1 失去信心，正在 OpenAI 組建多智能體團(tuán)隊(duì)」。

這意味著，一場全新的競賽即將開始，AI 不再僅僅是對話生成，而應(yīng)該去執(zhí)行和操作。

Claude 接管人類電腦，科研求職編碼一鍵通

那些上手 Claude 計(jì)算機(jī)使用能力的開發(fā)者們，根本停不下來創(chuàng)作。從復(fù)雜的編碼任務(wù)到深入研究，再到收集 「零散」的信息，許多令人驚嘆的典型案例誕生了。

畢竟是自家首發(fā)的，Anthropic 開發(fā)者關(guān)系負(fù)責(zé)人 Alex Albert 先了打個(gè)樣。

他先用 Claude 計(jì)算機(jī)和 bash 工具，在線下載一個(gè)隨機(jī)數(shù)據(jù)集，然后安裝 sklearn，在數(shù)據(jù)集上訓(xùn)練一個(gè)簡單的分類器。

最后，在網(wǎng)頁上就得到了分類器結(jié)果。

這些過程，不到 5 分鐘的時(shí)間就完成了。

其中用到的提示，他也貢獻(xiàn)出來了：

Go to https://data.gov, find an interesting recent dataset, and download it. Install sklearn with bash tool write a .py file to split the data into train and test and make a classifier for it. (you may need to inspect the data and/or iterate if this goes poorly at first, but don't get discouraged!). Come up with some way to visualize the results of your classifier in the browser.

一位開發(fā)者已經(jīng)開始讓 Claude 幫自己自主做科研了。

驗(yàn)證「你是不是人」，Claude 可以代勞了。

想要 Claude 控制你的電腦，只需要：

pip install open-interpreterinterpreter --os

Claude 一頓操作猛如虎，以后視頻內(nèi)置廣告，通通交給它了。

打工人求職申請表填寫，Claude 也能勝任。這不，下面這位開發(fā)者小哥已經(jīng)讓 AI 自動(dòng)申請 Anthropic 職位了。

進(jìn)化版（左）和舊版（右）Claude 3.5 Sonnet 在「我的世界」中構(gòu)建的樣子，令人印象深刻。

新升級后的 Claude 3.5 Sonnet 將如何影響「多智能體社會(huì)」的進(jìn)步？

智能體研究初創(chuàng)公司 Altera Al 給出了答案，新模型是對長時(shí)間自主性的最大升級。我們的 25 個(gè)智能體在「我的世界」中合作，在 20 分鐘內(nèi)收集了超過 40% 的不同物品。

分析工具

順便提一句，Claude 今天還重磅推出了可以編寫和運(yùn)行代碼「分析工具」，為 1024 開發(fā)者們送上大福利。

目前，這一功能已在 Claude 中上線。

假設(shè)讓 Claude 繪制銷售渠道進(jìn)展的直觀圖，它能自主分析數(shù)據(jù)寫代碼，并給出要求的可視化圖。

然后，你可以在 Artifacts 中，可以詳細(xì)查看細(xì)分項(xiàng)的數(shù)據(jù)。

AI 智能體競賽打響，Anthropic 搶跑

雖然計(jì)算機(jī)使用工具并不完美，但它代表了 Anthropic 在 AI 中的一種愿景：

讓 Claude 像人一樣，看懂屏幕自主操作現(xiàn)有軟件，完成各種復(fù)雜的任務(wù)。

這項(xiàng)能力背后的工作原理是：Claude 先對屏幕截圖，確定需要采取的行動(dòng)，然后執(zhí)行這些行行動(dòng)。然后，再次截圖決定下一步應(yīng)該做什么。

暢想一下，如果智能體能夠直接查看屏幕內(nèi)容而無需依賴輔助功能，或查看底層代碼的 AI 軟件，可能會(huì)開啟大量新機(jī)遇。

比如，當(dāng)你搭建網(wǎng)站時(shí)，如果按鈕中的文字意外超出按鈕邊界，AI 智能直接看到后修復(fù)了這個(gè)問題，就省去了查看底層代碼倒推步驟。

再舉個(gè)栗子，當(dāng)前網(wǎng)站制作者，已經(jīng)非常巧妙地隱藏網(wǎng)站上廣告的 HTML 代碼。

這使得基于 AI 的廣告攔截軟件更難分析代碼，并確定需要?jiǎng)h除什么來去除廣告。

但是，能夠直接看到廣告本身的「計(jì)算機(jī)使用智能體」會(huì)發(fā)現(xiàn)這項(xiàng)任務(wù)容易得多。

不過，這項(xiàng)技術(shù)帶來弊端首先是「截圖操作」成本太高，而且 AI 往往會(huì)假設(shè)它的操作已經(jīng)成功執(zhí)行。

「當(dāng)它獲取新的截圖時(shí)，它已經(jīng)不知道自己在操作流程中處于哪個(gè)階段了」

另一方面，就是隱私問題了。

此前，已經(jīng)有公司禁止員工使用 ChatGPT、GitHub Copilot 等編程工具，害怕不小心向模型開發(fā)商泄露專有信息或代碼。

OpenAI 急了，加碼 AI 年底上新

在勁敵 Anthropic 連連發(fā)布重壓下，OpenAI 其實(shí)早已開啟了新的布局。

還記得幾天前，Sam Altman 突然冒泡，「下個(gè)月是 ChatGPT 的第二個(gè)生日，我們應(yīng)該送它什么生日禮物呢」？

當(dāng)時(shí)，一大波網(wǎng)友寫下自己的愿望清單。

就在剛剛，有一條被傳瘋了的報(bào)道稱，OpenAI 計(jì)劃在 12 月，解禁新一代大模型，代號(hào)為 Orion。

根據(jù)爆料，Orion 將使用 o1 合成的數(shù)據(jù)進(jìn)行訓(xùn)練，并會(huì)在 ChatGPT 兩周年前后發(fā)布。

但與 GPT-4o 和 o1 不同的是，它最初不會(huì)通過 ChatGPT 上線，而是先授予與 OpenAI 密切合作的公司訪問權(quán)限（比如微軟），方便他們構(gòu)建自己的產(chǎn)品和功能。

不過，網(wǎng)友們的「美夢」還沒做多久，Altman 就站出來辟謠了：通通都是 fake news！

在軟件開發(fā)上，OpenAI 目前正在開發(fā)多個(gè)產(chǎn)品和功能：

一部分簡化在 Microsoft Visual Studio Code 等主流代碼編輯器中使用 OpenAI 的 AI 進(jìn)行開發(fā)的流程；

另一部分則著眼于處理更復(fù)雜的軟件開發(fā)任務(wù)。

知情人士透露，OpenAI 這款產(chǎn)品能夠處理原本需要人類耗時(shí)數(shù)小時(shí)乃至數(shù)天的軟件工程任務(wù)，還能據(jù)客戶的指令自動(dòng)編寫和執(zhí)行復(fù)雜應(yīng)用程序的代碼。

不過，具體發(fā)布時(shí)間還未確定。

畢竟，代碼開發(fā)是 OpenAI 大語言模型的早期應(yīng)用場景之一，主要是因?yàn)?AI 生成的代碼可以快速驗(yàn)證其可用性。

2021 年開始，微軟 GitHub 團(tuán)隊(duì)利用 OpenAI 大模型推出 AI Copilot，為程序員提供實(shí)時(shí)代碼建議。

緊接著，ChatGPT 在 22 年年底面世，提供一個(gè)更加易用、免費(fèi)的替代方案，迅速走紅。

隨后，OpenAI 成功說服數(shù)百萬程序員付費(fèi)使用「升級版」ChatGPT。

他們可以比 GitHub Copilot 更早體驗(yàn)升級版 LLM，并能通過對話式指令處理各類開發(fā)任務(wù)。正因此，報(bào)道稱這些功能讓 OpenAI 相關(guān)訂閱產(chǎn)品的年收入有望達(dá)到約 30 億美金。

在智能體布局方面，OpenAI 內(nèi)部正組建一支多智能體團(tuán)隊(duì)，下一步可能傾向于智能體領(lǐng)域。

前段時(shí)間，他們發(fā)布的多智能體框架 Swarm，也是引發(fā)了 AI 社區(qū)的關(guān)注。

內(nèi)部研究助手

據(jù)透露，OpenAI 已經(jīng)開發(fā)出了一款能夠幫助提升工作效率的「內(nèi)部研究助手」，并且獲得了研究人員的一致好評。

其中的功能，就包括為 AI 模型相關(guān)的實(shí)驗(yàn)生成代碼。

這款內(nèi)部工具似乎是朝著開發(fā)能夠自主進(jìn)行 AI 研究的系統(tǒng)邁出的一步 —— 這種能力不但需要編程技能，而且還需要具備為新實(shí)驗(yàn)提出想法和腦洞等能力。

OpenAI 的領(lǐng)導(dǎo)層已公開表示，這一目標(biāo)可能會(huì)在未來幾年內(nèi)實(shí)現(xiàn)。

另外，知情人士透露，OpenAI 正在考慮開發(fā)升級版 Canvas，這是一款對標(biāo) Anthropic Artifacts 的工具。

它能夠?qū)崿F(xiàn)和 ChatGPT 對話同時(shí)，在新的畫布中協(xié)作，不論是編程還是創(chuàng)作，皆可互動(dòng)。

就代碼方面，在 Canvas 中用戶能夠讓 AI 一鍵審查代碼、修改 bug 等，幫助理解現(xiàn)有的代碼基礎(chǔ)和項(xiàng)目類型。

不過，他們還需要進(jìn)行將代碼復(fù)制粘貼到 chatbot 中，這一繁瑣操作。

OpenAI 所希望的是，能夠推出更通用的 AI 智能體，類似于 Anthropic 發(fā)布「計(jì)算機(jī)使用智能體」，可以接管人類電腦處理代碼以外更廣泛的任務(wù)。

目前，OpenAI 已在內(nèi)部展示了一個(gè) AI 智能體的初步版本，能夠通過用戶的計(jì)算機(jī)完成在線訂餐等任務(wù)。

當(dāng)遇到編程或應(yīng)用開發(fā)難題時(shí)，這個(gè) AI 智能體還能夠自動(dòng)查詢網(wǎng)絡(luò)資源尋求解決方案。如今在 AI 編程領(lǐng)域，OpenAI 已處于守勢，曾經(jīng)獨(dú)占鰲頭的局勢正在改變。

現(xiàn)在，面對這個(gè)最危險(xiǎn)的競爭對手 Anthropic，它確實(shí)該做點(diǎn)什么了...

參考資料：

• https://x.com/JeremyDanielFox/status/1849471327075270707

• https://x.com/AnthropicAI/status/1849466471556038752

• https://venturebeat.com/ai/anthropics-agentic-computer-use-is-giving-people-superpowers/

• https://www.theverge.com/2024/10/24/24278999/openai-plans-orion-ai-model-release-december

• https://www.thariq.io/blog/claudecomputer/

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。