史上首位“AI 科學(xué)家”，橫空出世！一登場(chǎng)就一口氣生成了十篇完整學(xué)術(shù)論文。
從提出研究想法、檢查創(chuàng)新性、設(shè)計(jì)實(shí)驗(yàn)、編寫(xiě)代碼，到在 GPU 上執(zhí)行實(shí)驗(yàn)并收集結(jié)果，最后完成論文撰寫(xiě)，一氣呵成。
全由這位“AI 科學(xué)家”自動(dòng)搞定。每篇論文的成本約為 15 美元（約 107.62 元）。
這就是第一個(gè)用于自動(dòng)化科學(xué)研究和開(kāi)放式發(fā)現(xiàn)的綜合 AI 系統(tǒng)，The AI Scientist。來(lái)自 Transformer 作者之一 Llion Jones 的創(chuàng)業(yè)公司：Sakana AI。
而且！這公司搞的事情不只是做出了一位 AI 科學(xué)家，還額外搞出了個(gè) AI 審稿人。
審稿人能對(duì) AI 寫(xiě)的論文進(jìn)行評(píng)審，提供改進(jìn)意見(jiàn)。
救命，這是什么以我之矛攻我之盾的套娃循環(huán)?。∫煌ú僮飨聛?lái)，比人類學(xué)術(shù)圈還人類學(xué)術(shù)圈（不是）
再來(lái)個(gè)而且！不管是 AI 科學(xué)家和 AI 審稿人，Sakana AI 把它們統(tǒng)統(tǒng)開(kāi)源了。
網(wǎng)友看了直鼓掌：
Nice Nice，非常有趣的工作！
以及有人已經(jīng)開(kāi)始出“餿主意”了：
這邊建議把其中一篇論文提交給 AI 頂會(huì)哈！
AI 獨(dú)立完成十篇機(jī)器學(xué)習(xí)論文
幾十年來(lái)，每次 AI 取得重大進(jìn)展后，研究人員經(jīng)常開(kāi)玩笑說(shuō)：“是時(shí)候研究讓 AI 幫我們寫(xiě)論文了”。
現(xiàn)在，這個(gè)想法終于從玩笑變成現(xiàn)實(shí)。
具體來(lái)說(shuō)，AI 科學(xué)家生成了十篇論文，每個(gè)研究方向各挑出一篇得分較高的來(lái)介紹。
第一篇，擴(kuò)散模型方向，《雙尺度擴(kuò)散：低維生成模型的自適應(yīng)特征平衡》
提出了一種自適應(yīng)雙尺度去噪方法，改進(jìn)現(xiàn)有的擴(kuò)散模型在低維空間中難以同時(shí)捕捉全局結(jié)構(gòu)和局部細(xì)節(jié)的問(wèn)題。
方法：
設(shè)計(jì)雙尺度架構(gòu)，包括全局和局部分支
引入可學(xué)習(xí)的時(shí)間步條件加權(quán)機(jī)制
結(jié)合兩個(gè)分支的輸出進(jìn)行去噪預(yù)測(cè)
實(shí)驗(yàn)結(jié)果：
KL divergence 指標(biāo)相比基線模型降低了 2.5% 到 12.8%（越低越好）
但計(jì)算時(shí)間約增加了一倍，且在復(fù)雜數(shù)據(jù)分布（如 dino 數(shù)據(jù)集）上表現(xiàn)不穩(wěn)定
簡(jiǎn)單掃一眼正文部分，有公式、有圖表，看起來(lái)還挺像模像樣的。
第二篇，語(yǔ)言模型方向，《StyleFusion：字符級(jí)語(yǔ)言模型中的自適應(yīng)多樣式生成》。
本文提出了一種名為 Multi-Style Adapter 的新方法，通過(guò)引入可學(xué)習(xí)的風(fēng)格嵌入和風(fēng)格分類頭，增強(qiáng)了字符級(jí)語(yǔ)言模型的風(fēng)格意識(shí)和一致性。
在所有數(shù)據(jù)集上達(dá)到了接近完美的風(fēng)格一致性分?jǐn)?shù)（shakespeare_char 為 0.9667，enwik8 和 text8 為 1.0），驗(yàn)證損失優(yōu)于基線模型，但推理速度略有下降（約 400 tokens / s vs. 基線 670 tokens / s）。
第三篇，Transformer 與強(qiáng)化學(xué)習(xí)結(jié)合，《通過(guò) Q-Learning 實(shí)現(xiàn) Transformers 的自適應(yīng)學(xué)習(xí)率》。
本研究探索了將強(qiáng)化學(xué)習(xí)應(yīng)用于動(dòng)態(tài)調(diào)整 transformer 模型訓(xùn)練中的學(xué)習(xí)率，使用驗(yàn)證損失和當(dāng)前學(xué)習(xí)率作為狀態(tài)，動(dòng)態(tài)調(diào)整學(xué)習(xí)率以優(yōu)化訓(xùn)練過(guò)程。
結(jié)果在所有數(shù)據(jù)集上都優(yōu)于基線模型，在訓(xùn)練時(shí)間上也表現(xiàn)出優(yōu)勢(shì)。
第四篇，研究了谷歌團(tuán)隊(duì)提出大模型“領(lǐng)悟”（Grokking）現(xiàn)象，《解鎖 Grokking：Transformer 模型中權(quán)重初始化策略的比較研究》
本文首次系統(tǒng)研究了權(quán)重初始化對(duì) grokking 的影響，比較了五種權(quán)重初始化策略，以優(yōu)化神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)動(dòng)態(tài)。
結(jié)果發(fā)現(xiàn)：
Xavier 初始化在多數(shù)任務(wù)中表現(xiàn)最佳，將達(dá)到 99% 驗(yàn)證準(zhǔn)確率的步數(shù)減少了最多 63%
Orthogonal 初始化在某些任務(wù)中表現(xiàn)出色，但在其他任務(wù)中效果較差。
這幾篇論文配套的代碼（也是由 AI 生成的），同樣開(kāi)源在 GitHub 上，突出一個(gè)可復(fù)現(xiàn)。
另外，團(tuán)隊(duì)發(fā)現(xiàn)“AI 科學(xué)家”還有一些有趣但又有些危險(xiǎn)的行為：
在一次實(shí)驗(yàn)中，它為了完成研究修改自己的代碼，讓系統(tǒng)迭代式調(diào)用自己，最后變成了無(wú)限套娃。
另一次，面對(duì)人類設(shè)置的運(yùn)行時(shí)間限制，AI 并沒(méi)有想辦法加快效率，反而給自己放寬要求，把時(shí)間限制從 2 小時(shí)延長(zhǎng)到了 4 小時(shí)。
首個(gè)“AI 科學(xué)家”如何煉成
整個(gè)研究想法來(lái)自 Sakana AI 成立之后幾個(gè)成果的延續(xù)：
首先，他們開(kāi)發(fā)了自動(dòng)合并多個(gè)大模型知識(shí)，進(jìn)化產(chǎn)生新模型的方法。在最近的工作中，他們利用大模型發(fā)現(xiàn)新的目標(biāo)函數(shù)來(lái)調(diào)整其他模型。
在這些項(xiàng)目中，團(tuán)隊(duì)不斷對(duì)當(dāng)前前沿模型的創(chuàng)造力感到驚訝，進(jìn)而有了更大的夢(mèng)想：可以使用大模型來(lái)自動(dòng)化整個(gè)研究過(guò)程嗎？
最終成果由 Sakana AI、牛津大學(xué) Foerster 實(shí)驗(yàn)室、不列顛哥倫比亞大學(xué)團(tuán)隊(duì)合作完成。
“AI 科學(xué)家”系統(tǒng)由四個(gè)部分組成。
想法生成：
給定一個(gè)起始模板，AI 首先“頭腦風(fēng)暴”一系列不同的新穎研究方向，并在 Semantic Scholar 上搜索，驗(yàn)證這些想法是否有前人做過(guò)。
實(shí)驗(yàn)迭代：
對(duì)于第一部分提出的想法，“AI 科學(xué)家”首先執(zhí)行提議的實(shí)驗(yàn)，然后生成圖表可視化結(jié)果。
論文寫(xiě)作：
用標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)會(huì)議的風(fēng)格編寫(xiě)了一份簡(jiǎn)潔且信息豐富的 LaTeX 文章，同樣使用 Semantic Scholar 自主查找相關(guān)論文進(jìn)行引用。
自動(dòng)化同行評(píng)審：
開(kāi)發(fā)了一個(gè)自動(dòng)化的“AI 審稿人”，能夠以接近人類的準(zhǔn)確性評(píng)估生成的論文，實(shí)現(xiàn)了持續(xù)的反饋循環(huán)，使“AI 科學(xué)家”能夠迭代地改進(jìn)其研究成果。
總共生成了 10 篇論文如下：
在實(shí)驗(yàn)中，團(tuán)隊(duì)還比較了不同主流大模型接入整個(gè)系統(tǒng)的效果，其中包括 DeepSeek 團(tuán)隊(duì)的國(guó)產(chǎn)代碼大模型。
結(jié)果發(fā)現(xiàn)，Claude-Sonnet-3.5 在想法創(chuàng)新性、試驗(yàn)通過(guò)率、論文完成質(zhì)量上表現(xiàn)都最好。
GPT-4o 和 DeepSeek Coder 表現(xiàn)相近，但后者要便宜上 30 倍。
當(dāng)然，現(xiàn)階段 AI 獨(dú)立完成的論文也不是盡善盡美，也不是直接就能發(fā)頂會(huì)了。
人類研究者總結(jié)了出幾點(diǎn)限制和挑戰(zhàn)：
當(dāng)前“AI 科學(xué)家”系統(tǒng)還沒(méi)有整合視覺(jué)能力，生成的圖表有時(shí)難以閱讀，表格有時(shí)超出頁(yè)面寬度，頁(yè)面排版不好。
AI 科學(xué)家可能想法對(duì)了但執(zhí)行錯(cuò)誤，或者與基線進(jìn)行不公平的比較，從而產(chǎn)生誤導(dǎo)性的結(jié)果。
AI 科學(xué)家在寫(xiě)作和評(píng)估結(jié)果時(shí)偶爾會(huì)犯嚴(yán)重錯(cuò)誤，比如產(chǎn)生幻覺(jué)。
還想造區(qū)域主席和 AI 新頂會(huì)
總結(jié)一下，這初代 AI 科學(xué)家寫(xiě)出來(lái)的論文仍然時(shí)不時(shí)出現(xiàn)一些 bug。
但這個(gè)項(xiàng)目本身，以及 15 美元 / 篇的成本，被 Sakana AI 稱為“大有前景”，完全可以用來(lái)幫助加速科學(xué)進(jìn)步。
Sakana AI 同時(shí)發(fā)布了一篇說(shuō)明文章，表示 AI 科學(xué)家的最終設(shè)想，是一個(gè)完全由 AI 驅(qū)動(dòng)的科學(xué)生態(tài)系統(tǒng)。
系統(tǒng)中不僅包括大模型驅(qū)動(dòng)的研究人員，還有審稿人、區(qū)域主席和一個(gè)新頂會(huì)。
需要注意的是，Sakana AI 認(rèn)為：
人類科學(xué)家的作用，并不會(huì)因?yàn)?AI 科學(xué)家的出現(xiàn)而減弱。
如果非要進(jìn)行對(duì)比，那就是科學(xué)家得適應(yīng)新技術(shù)的出現(xiàn)和運(yùn)用，適應(yīng)角色定位將出現(xiàn)的變化，“向食物鏈上游移動(dòng)”。
而且，AI 科學(xué)家是否真的能提出真正的新范式，還有待觀察。畢竟這玩意兒現(xiàn)在還是建立在 Transformer 之上的。
它能提出跟 Transformer 或 Diffusion Model 一樣厲害的東西嗎？甚至是人工神經(jīng)網(wǎng)絡(luò)或信息論這樣的理論概念？
咱也不知道，咱也不敢說(shuō)。
Sakana AI 還寫(xiě)下這樣一段話：
我們相信 AI 科學(xué)家將成為人類科學(xué)家的偉大伙伴。
但只有時(shí)間才能證明，人類的創(chuàng)造力本質(zhì)和偶然創(chuàng)新時(shí)刻，在多大程度上可以通過(guò)人工進(jìn)行的開(kāi)放式發(fā)現(xiàn)，來(lái)復(fù)制“奇跡”。
來(lái)自 Transformer 作者創(chuàng)業(yè)公司
這次完成“新造的人”的公司，Sakana AI，嚴(yán)格意義上也是咱們的老朋友了。
由 Transformer 論文 8 位作者的最后一位 Llion Jones 創(chuàng)業(yè)成立，目標(biāo)是做一家“世界級(jí)人工智能研究室”。
公司 base 東京，而 sakana 是日語(yǔ)“魚(yú)”（さかな）的羅馬讀音。
可能出于公司文化考慮，Llion 還在領(lǐng)英上標(biāo)明，自己起了個(gè)日語(yǔ)音譯名字：ライオン（也就是 Lion 獅子的片假名；以下親切簡(jiǎn)稱他獅子哥）。
去年 8 月，公司宣布成立。當(dāng)時(shí)獅子哥毫無(wú)避諱地表示，自個(gè)兒對(duì)谷歌沒(méi)有惡意，但谷歌確實(shí)讓他有“被困住的感覺(jué)”。
創(chuàng)業(yè)之前，獅子哥在谷歌已經(jīng)干了 8 年。
他本碩畢業(yè)于伯明翰大學(xué)，在 Delcam、油管、谷歌都工作過(guò)，谷歌是他待得最久的一家公司。
據(jù) FourWeekMBA 介紹稱，在他之前的工作經(jīng)歷中，“曾兩度與谷歌的工作擦肩而過(guò)”。
第一次是他剛畢業(yè)找工作時(shí)，雖然投了谷歌倫敦軟件工程師的簡(jiǎn)歷，并通過(guò)了兩輪電話面試，但最終相比谷歌，他選擇了位于英國(guó)的 CAD / CAM 軟件公司 Delcam。
值得一說(shuō)的是，在拿下谷歌 offer 前，恰巧遇上 2009 年的經(jīng)濟(jì)危機(jī)，獅子哥找不到工作，好幾個(gè)月都只能靠領(lǐng)取救濟(jì)金勉強(qiáng)度日。
第二次是工作 18 個(gè)月后，他又接到了谷歌的招聘電話，詢問(wèn)他是否想重新申請(qǐng)，但他依舊沒(méi)去谷歌，而是隨后加入了 YouTube。
在 Youtube 做三年軟件工程師期間，他對(duì)人工智能產(chǎn)生興趣，自學(xué)了 Coursera 的機(jī)器學(xué)習(xí)課程，并終于在 2015 年的時(shí)候加入谷歌研究院，擔(dān)任里面的高級(jí)軟件工程師。
也正是在此期間，他與其他七名作者一起發(fā)表了那篇著名的 Transformer 論文 Attention Is All You Need。
除此之外，獅子哥也在谷歌參與了不少研究，包括 ProtTrans、Tensor2Tensor 等。
之所以選擇離開(kāi)谷歌，是因?yàn)楣灸壳耙呀?jīng)發(fā)展到一種規(guī)模，使得他無(wú)法繼續(xù)進(jìn)行自己想做的工作。
除了每天都在浪費(fèi)精力排查其他人的 bug，他還需要花時(shí)間從這家公司中找資源，試圖獲得訪問(wèn)某些數(shù)據(jù)的權(quán)限。
創(chuàng)業(yè)過(guò)后，Sakana AI 的工作在有序推進(jìn)。在祭出 AI 科學(xué)家和 AI 審稿人之前，還出過(guò)大模型合并進(jìn)化算法，以及研究 Tranformer 內(nèi)部信息流動(dòng)。
至于 AI 科學(xué)家、AI 審稿人項(xiàng)目，由 Sakana AI、牛津、UBC 合作完成。
三位共同一作分別是：
Chris Lu，Sakana AI 的實(shí)習(xí)生，任公司研究科學(xué)家。
他本科畢業(yè)于 UC 伯克利，目前牛津大學(xué)三年級(jí)博士在讀，導(dǎo)師是 Jakob Foerster。
Chris 目前的重要研究方向，是將進(jìn)化啟發(fā)的技術(shù)應(yīng)用于元學(xué)習(xí)和多智能體強(qiáng)化學(xué)習(xí)。
2022 年夏天，他曾在 DeepMind 以研究科學(xué)家身份實(shí)習(xí)過(guò)。
Cong Lu，UBC（不列顛哥倫比亞大學(xué)）博士后研究員，導(dǎo)師是 Jeff Clune。
Cong 曾在 RGU（羅伯特戈登大學(xué)）就讀，2019 年在牛津大學(xué)拿下博士學(xué)位，他的主要研究方向是開(kāi)放式強(qiáng)化學(xué)習(xí)和 AI 科學(xué)發(fā)現(xiàn)。
此前，他曾在 Waymo 和微軟實(shí)習(xí)過(guò)。
Robert Tjarko Lange，Sakana AI 的創(chuàng)始成員之一，也是該公司的研究科學(xué)家。
目前，他在柏林工業(yè)大學(xué)完成自己的博士生最后一年學(xué)業(yè)，研究方向是進(jìn)化元學(xué)習(xí)。
這位小哥在倫敦帝國(guó)理工學(xué)院獲得計(jì)算機(jī)碩士學(xué)位，在龐培法布拉大學(xué)獲得數(shù)據(jù)科學(xué)碩士學(xué)位，在科隆大學(xué)獲得了經(jīng)濟(jì)學(xué)本科學(xué)位。
去年，他在 Google DeepMind 的東京團(tuán)隊(duì)中擔(dān)任全職學(xué)生研究員。
論文地址：
參考鏈接：
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：夢(mèng)晨、衡宇，原標(biāo)題《首位 AI 科學(xué)家問(wèn)世！已獨(dú)立生成 10 篇學(xué)術(shù)論文，還順手搞了 AI 審稿人》
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。