IT之家 11 月 16 日消息，針對近日零一萬物被質(zhì)疑完全使用 LLaMA 架構(gòu)，只對兩個張量（Tensor）名稱做修改，李開復(fù)在朋友圈進行了回應(yīng)。

李開復(fù)表示：“全球大模型架構(gòu)一路從 GPT2 --> Gopher --> Chinchilla --> Llama2 --> Yi，行業(yè)逐漸形成大模型的通用標(biāo)準(zhǔn)，就像做一個手機 App 開發(fā)者，不會去自創(chuàng) iOS、Android 以外的全新基礎(chǔ)架構(gòu)。01.AI 起步受益于開源，也貢獻開源，從社區(qū)中虛心學(xué)習(xí)，我們會持續(xù)進步。”

據(jù)IT之家此前報道，創(chuàng)新工場董事長兼 CEO 李開復(fù)于今年創(chuàng)辦了 AI 大模型創(chuàng)業(yè)公司“零一萬物”，該公司已推出 Yi-34B 和 Yi-6B 兩個開源大模型，號稱對學(xué)術(shù)研究完全開放，同步開放免費商用申請。

然而在 Yi-34B 的 Hugging Face 開源主頁上，開發(fā)者 ehartford 質(zhì)疑稱該模型使用了 Meta LLaMA 的架構(gòu)，只對兩個張量（Tensor）名稱進行了修改，分別為 input_layernorm 和 post_attention_layernorm。

零一萬物開源團隊總監(jiān) Richard Lin 回應(yīng)稱，這一命名問題是開發(fā)人員疏忽導(dǎo)致，開發(fā)人員在代碼中進行了幾次重命名，以滿足實驗要求。但是開發(fā)人員“忘記將張量名稱修改回 LLaMA”，開發(fā)人員對此感到抱歉。

值得一提的是，原阿里首席 AI 科學(xué)家賈揚清吐槽國內(nèi)某一新模型中用的其實是 LLaMA 架構(gòu)，僅在代碼中更改了幾個變量名引發(fā)網(wǎng)絡(luò)熱議。在被指大模型回應(yīng)并發(fā)布訓(xùn)練模型過程后，賈揚清最新發(fā)文，表示開源領(lǐng)域“魔改”要不得。

昨日，零一萬物官方對 Yi-34B 訓(xùn)練過程進行了說明，表示大模型持續(xù)發(fā)展與尋求突破口的核心點不僅在于架構(gòu)，而是在于訓(xùn)練得到的參數(shù)。IT之家附回應(yīng)全文：

就零一萬物的觀察和分析，大模型社區(qū)在技術(shù)架構(gòu)方面現(xiàn)在是一個處于接近往通用化逐步收攏的階段，基本上國際主流大模型都是基于 Transformer 的架構(gòu)，做 attention，activation，normalization，positional embedding 等部分的改動，LLaMA、Chinchilla、Gopher 等模型的架構(gòu)和 GPT 架構(gòu)大同小異，全球開源社區(qū)基于主流架構(gòu)的模型變化非常之多，生態(tài)呈現(xiàn)欣欣向榮，國內(nèi)已發(fā)布的開源模型也絕大多數(shù)采用漸成行業(yè)標(biāo)準(zhǔn)的 GPT / LLaMA 的架構(gòu)。然而，大模型持續(xù)發(fā)展與尋求突破口的核心點不僅在于架構(gòu)，而是在于訓(xùn)練得到的參數(shù)。

模型訓(xùn)練過程好比做一道菜，架構(gòu)只是決定了做菜的原材料和大致步驟，這在大多數(shù)人的認知中也逐步形成共識。要訓(xùn)練出好的模型，還需要更好的“原材料”（數(shù)據(jù)）和對每一個步驟細節(jié)的把控（訓(xùn)練方法和具體參數(shù)）。由于大模型技術(shù)發(fā)展還在非常初期，從技術(shù)觀點來說，行業(yè)共識是與主流模型保持一致的模型結(jié)構(gòu)，更有利于整體的適配與未來的迭代。

零一萬物在訓(xùn)練模型過程中，沿用了 GPT / LLaMA 的基本架構(gòu)，由于 LLaMA 社區(qū)的開源貢獻，讓零一萬物可以快速起步。零一萬物從零開始訓(xùn)練了 Yi-34B 和 Yi-6B 模型，并根據(jù)實際的訓(xùn)練框架重新實現(xiàn)了訓(xùn)練代碼，用自建的數(shù)據(jù)管線構(gòu)建了高質(zhì)量配比的訓(xùn)練數(shù)據(jù)集（從 3PB 原始數(shù)據(jù)精選到 3T token 高質(zhì)量數(shù)據(jù)）。除此以外，在 Infra 部分進行算法、硬件、軟件聯(lián)合端到端優(yōu)化，實現(xiàn)訓(xùn)練效率倍級提升和極強的容錯能力等原創(chuàng)性突破。這些科學(xué)訓(xùn)模的系統(tǒng)性工作，往往比起基本模型結(jié)構(gòu)能起到巨大的作用跟價值。

零一萬物團隊在訓(xùn)練前的實驗中，嘗試了不同的數(shù)據(jù)配比科學(xué)地選取了最優(yōu)的數(shù)據(jù)配比方案，投注大部分精力調(diào)整訓(xùn)練方法、數(shù)據(jù)配比、數(shù)據(jù)工程、細節(jié)參數(shù)、baby sitting（訓(xùn)練過程監(jiān)測）技巧等。這一系列超越模型架構(gòu)之外，研究與工程并進且具有前沿突破性的研發(fā)任務(wù)，才是真正屬于模型訓(xùn)練內(nèi)核最為關(guān)鍵、能夠形成大模型技術(shù)護城河 know-how 積累。在模型訓(xùn)練同時，零一萬物也針對模型結(jié)構(gòu)中的若干關(guān)鍵節(jié)點進行了大量的實驗和對比驗證。舉例來說，我們實驗了 Group Query Attention（GQA）、Multi-Head Attention（MHA）、Vanilla Attention 并選擇了 GQA，實驗了 Pre-Norm 和 Post-Norm 在不同網(wǎng)絡(luò)寬度和深度上的變化，并選擇了 Pre-Norm，使用了 RoPE ABF 作為 positional embedding 等。也正是在這些實驗與探索過程中，為了執(zhí)行對比實驗的需要，模型對部分推理參數(shù)進行了重新命名。

在零一萬物初次開源過程中，我們發(fā)現(xiàn)用和開源社區(qū)普遍使用的 LLaMA 架構(gòu)會對開發(fā)者更為友好，對于沿用 LLaMA 部分推理代碼經(jīng)實驗更名后的疏忽，原始出發(fā)點是為了充分測試模型，并非刻意隱瞞來源。零一萬物對此提出說明，并表達誠摯的歉意，我們正在各開源平臺重新提交模型及代碼并補充 LLaMA 協(xié)議副本的流程中，承諾盡速完成各開源社區(qū)的版本更新。

我們非常感謝社區(qū)的反饋，零一萬物在開源社區(qū)剛剛起步，希望和大家攜手共創(chuàng)社區(qū)繁榮，在近期發(fā)布 Chat Model 之后，我們將擇期發(fā)布技術(shù)報告，Yi Open-source 會盡最大努力虛心學(xué)習(xí)，持續(xù)進步。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。