現(xiàn)在，英偉達(dá) Llama-Nemotron 系列模型，正式超越 DeepSeek-R1！而且，這些模型已經(jīng)全部開(kāi)源了。
換句話說(shuō)，在推理吞吐量和內(nèi)存效率上顯著超越 DeepSeek-R1 的一系列推理模型，已經(jīng)開(kāi)源可用了。
超越 DeepSeek-R1 的模型，究竟是怎么煉出的？
就在剛剛，英偉達(dá)發(fā)布了技術(shù)報(bào)告中，揭秘了模型訓(xùn)練的關(guān)鍵 ——
利用合成數(shù)據(jù)監(jiān)督微調(diào) + 強(qiáng)化學(xué)習(xí)，全面提升模型的推理能力
從頭構(gòu)建完善的后訓(xùn)練流程
論文鏈接：https://arxiv.org/abs/2505.00949
上個(gè)月，英偉達(dá)正式官宣了 Llama-Nemotron 253B，一下子就讓發(fā)布 3 天的 Llama 4 變成了「陪襯」。（后者還陷入了刷榜等「誠(chéng)信危機(jī)」）
發(fā)布之后，英偉達(dá)的這一系列模型在業(yè)界引起不小的轟動(dòng)。
根據(jù)人工分析智能指數(shù)，截至 2025 年 4 月，Llama-Nemotron-Ultra 被認(rèn)為是目前「最智能」的開(kāi)源模型。
這次，英偉達(dá)一口氣推出了 Llama-Nemotron 系列三個(gè)模型 ——LN-Nano 8B，LN-Super 49B 和 LN-Ultra 253B。
值得一提的是，LN-Ultra 不僅在性能上超越了 DeepSeek-R1，還能在單個(gè) 8xH100 節(jié)點(diǎn)上運(yùn)行，推理吞吐量更高。
這些模型針對(duì)高吞吐量推理進(jìn)行了優(yōu)化，同時(shí)保持強(qiáng)大的推理能力和最多 128K 的上下文長(zhǎng)度。
并且，在全球 AI 開(kāi)源界，英偉達(dá)首次推出了推理開(kāi)關(guān)功能，用戶只需通過(guò)系統(tǒng)提示詞「detailed thinking on / off」就可以動(dòng)態(tài)切換標(biāo)準(zhǔn)聊天模式和推理模式。
這種設(shè)計(jì)讓模型既能滿足日常通用需求，也能勝任復(fù)雜的多步驟推理，無(wú)需使用不同的模型或架構(gòu)。
揭秘構(gòu)建過(guò)程
Llama-Nemotron 模型的構(gòu)建，分為五個(gè)階段。
第一階段：利用神經(jīng)架構(gòu)搜索（NAS）在 Llama 3 系列模型基礎(chǔ)上優(yōu)化推理效率，并引入前饋網(wǎng)絡(luò)融合（FFN Fusion）。
第二階段：通過(guò)知識(shí)蒸餾和繼續(xù)預(yù)訓(xùn)練來(lái)恢復(fù)模型性能。
第三階段：進(jìn)行有監(jiān)督微調(diào)（SFT），結(jié)合標(biāo)準(zhǔn)指令數(shù)據(jù)和來(lái)自 DeepSeek-R1 等強(qiáng)大教師模型的推理過(guò)程，從而讓模型具備多步驟推理能力。
第四階段：在復(fù)雜的數(shù)學(xué)和 STEM 數(shù)據(jù)集上進(jìn)行大規(guī)模強(qiáng)化學(xué)習(xí)，這是學(xué)生模型能夠超越教師模型能力的關(guān)鍵一步。對(duì)于 LN-Ultra，這一階段在 GPQA-D 基準(zhǔn)測(cè)試上帶來(lái)了顯著性能提升，確立其作為當(dāng)前開(kāi)源領(lǐng)域科學(xué)推理最強(qiáng)模型的地位。
為了支持如此大規(guī)模的強(qiáng)化學(xué)習(xí)訓(xùn)練，團(tuán)隊(duì)專門(mén)開(kāi)發(fā)了新的訓(xùn)練框架，包含多項(xiàng)優(yōu)化措施，其中最重要的是支持 FP8 精度的生成能力。
最后一個(gè)階段：簡(jiǎn)短的對(duì)齊訓(xùn)練，重點(diǎn)在于指令跟隨和符合人類偏好。
全新架構(gòu)設(shè)計(jì)：優(yōu)化推理效率
借助神經(jīng)架構(gòu)搜索 Puzzle 框架，LN-Super 和 LN-Ultra 優(yōu)化了模型推理效率。
Puzzle 能夠在實(shí)際部署限制下，將大語(yǔ)言模型轉(zhuǎn)化為更適配硬件運(yùn)行的高效版本，如圖 3 所示。
通過(guò)「逐塊局部蒸餾」的方式，開(kāi)發(fā)者利用 Llama 3 Instruct 構(gòu)建了替代 Transformer 模塊的庫(kù)。
在這個(gè)過(guò)程中，每個(gè)模塊都會(huì)被獨(dú)立且并行地訓(xùn)練，逼近原始模塊的功能，同時(shí)優(yōu)化計(jì)算性能。
這樣，每個(gè)替代模塊都具有特定的「精度-效率」權(quán)衡特性：有些模塊雖然更高效，但可能會(huì)帶來(lái)一定的質(zhì)量下降，從而形成一種在計(jì)算成本與模型準(zhǔn)確性之間的明確取舍。
這些模塊的變體包括：
注意力機(jī)制移除：某些模塊完全省略了注意力機(jī)制，從而降低了計(jì)算量和 KV 緩存的內(nèi)存消耗。
可變的 FFN 維度：前饋網(wǎng)絡(luò)的中間維度被調(diào)整，能以不同粒度對(duì)模型進(jìn)行壓縮。
在構(gòu)建好模塊庫(kù)后，Puzzle 會(huì)從每一層中選擇一個(gè)模塊，組裝出一個(gè)完整的模型。
這個(gè)選擇過(guò)程由混合整數(shù)規(guī)劃（MIP）求解器控制，它會(huì)根據(jù)一系列約束條件（如硬件兼容性、最大允許延遲、內(nèi)存預(yù)算或期望的推理吞吐量）來(lái)找出最優(yōu)配置。
垂直壓縮與 FFN 融合
在 LN-Ultra 模型中，研究者引入了一項(xiàng)額外的壓縮技術(shù)，稱為 FFN Fusion（前饋網(wǎng)絡(luò)融合），用于減少模型的序列深度并提升推理延遲效率。
Puzzle 在移除部分注意力層后，模型結(jié)構(gòu)中出現(xiàn)的一種特性：模型中常會(huì)出現(xiàn)多個(gè)連續(xù)的 FFN 塊。
FFN Fusion 能識(shí)別出這些連續(xù)結(jié)構(gòu)，并將其替換為更少但更寬、可并行執(zhí)行的 FFN 層。
這種替換方式在不犧牲模型表達(dá)能力的前提下，減少了順序計(jì)算的步驟，顯著提升了計(jì)算資源的利用率 —— 特別是在多 GPU 環(huán)境中，跨層通信開(kāi)銷不可忽視的情況下，效果尤為明顯。
圖 4 展示了在 GPQA-Diamond 準(zhǔn)確率（%）與處理吞吐量（token / 秒）之間的權(quán)衡。
值得注意的是，LN-Ultra 始終在準(zhǔn)確性和效率上優(yōu)于 DeepSeek-R1 和 Llama-3.1-405B，取得了準(zhǔn)確性和效率的最佳平衡。
NAS 后訓(xùn)練：知識(shí)蒸餾與持續(xù)預(yù)訓(xùn)練
在神經(jīng)架構(gòu)搜索（NAS）階段之后，LN-Super 和 LN-Ultra 都進(jìn)行了額外的訓(xùn)練，以提升模塊之間的兼容性，并恢復(fù)在模塊替換過(guò)程中可能出現(xiàn)的質(zhì)量損失。
LN-Super 使用 Distillation Mix 數(shù)據(jù)集，在知識(shí)蒸餾目標(biāo)下訓(xùn)練了 400 億個(gè) token。
LN-Ultra 首先使用相同的蒸餾數(shù)據(jù)集進(jìn)行知識(shí)蒸餾訓(xùn)練，訓(xùn)練了 650 億個(gè) token；隨后又在 Nemotron-H 第四階段預(yù)訓(xùn)練數(shù)據(jù)集上繼續(xù)訓(xùn)練了 880 億個(gè) token。
這一最終的預(yù)訓(xùn)練步驟，使 LN-Ultra 不僅追平了參考模型 Llama 3.1-405B-Instruct 的表現(xiàn)，還在關(guān)鍵基準(zhǔn)測(cè)試中實(shí)現(xiàn)了超越。
這就，表明通過(guò)簡(jiǎn)短的蒸餾與預(yù)訓(xùn)練，可以在激進(jìn)的架構(gòu)優(yōu)化和高模型性能之間實(shí)現(xiàn)兼容。
監(jiān)督微調(diào)
想讓 Llama-Nemotron 模型擁有超厲害的推理能力？
監(jiān)督微調(diào)（Supervised Fine-Tuning，SFT）這一步簡(jiǎn)直就是「神助攻」。
前面的開(kāi)發(fā)階段，團(tuán)隊(duì)主要在研究怎么讓模型架構(gòu)更高效，怎么把海量知識(shí)塞進(jìn)去。
而 SFT 就像給模型請(qǐng)了一位「私人教練」，專門(mén)針對(duì)特定任務(wù)的推理步驟，帶著它從 DeepSeek-R1 這些「學(xué)霸」模型身上，偷師推理技巧。
不過(guò)要想讓模型真正擁有扎實(shí)的推理功底，大規(guī)模、高質(zhì)量的推理訓(xùn)練數(shù)據(jù)必不可少。
合成數(shù)據(jù)
研究者為監(jiān)督微調(diào)精心整理了包含推理和非推理的數(shù)據(jù)樣本。
對(duì)于推理樣本，他們?cè)谙到y(tǒng)指令中加入「detailed thinking on」（開(kāi)啟詳細(xì)思考），而對(duì)于非推理樣本，則使用「detailed thinking off」（關(guān)閉詳細(xì)思考）。
這種設(shè)置，使模型能夠在推理階段根據(jù)提示內(nèi)容切換推理行為。
為推理，精心準(zhǔn)備了數(shù)學(xué)、代碼等相關(guān)領(lǐng)域的合成數(shù)據(jù)。
為了訓(xùn)練模型遵循「推理開(kāi)關(guān)」指令，研究者構(gòu)建了成對(duì)的數(shù)據(jù)集，其中每個(gè)提示都對(duì)應(yīng)一個(gè)帶推理的回復(fù)和一個(gè)不帶推理的回復(fù)。
這種配對(duì)方式，使模型能夠根據(jù)系統(tǒng)指令學(xué)習(xí)調(diào)節(jié)其推理行為。
隨后會(huì)依據(jù)標(biāo)準(zhǔn)答案或獎(jiǎng)勵(lì)模型對(duì)這些回復(fù)進(jìn)行篩選。
微調(diào)流程
在指令微調(diào)數(shù)據(jù)上，所有模型的訓(xùn)練，均采用 token 級(jí)交叉熵?fù)p失。
在大多數(shù)訓(xùn)練設(shè)置中，推理數(shù)據(jù)和非推理數(shù)據(jù)會(huì)被混合在一起，形成訓(xùn)練批次，其中每個(gè)提示都會(huì)根據(jù)系統(tǒng)指令「detailed thinking on / off」的條件，與相應(yīng)的響應(yīng)配對(duì)。
延長(zhǎng)訓(xùn)練至多輪周期能提升性能，對(duì)小模型尤為明顯。
這次主要使用 NeMo-Aligner 來(lái)進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，支持 GRPO 以及異構(gòu)模型的訓(xùn)練。
論文鏈接：https://arxiv.org/abs/2405.01481
生成階段使用 vLLM 實(shí)現(xiàn)，訓(xùn)練階段則使用 Megatron-LM。
訓(xùn)練和推理階段共用同一批 GPU，在同一設(shè)備上完成。
整個(gè)訓(xùn)練過(guò)程中，他們共使用了 72 個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配備 8 張 H100 GPU。
生成階段采用 FP8 精度，訓(xùn)練階段采用 BF16 精度，優(yōu)化器狀態(tài)使用 FP32。
每個(gè)階段維護(hù)一份獨(dú)立的模型權(quán)重，并在每一步開(kāi)始時(shí)進(jìn)行同步。
強(qiáng)化學(xué)習(xí)：超越 R1 推理能力的關(guān)鍵
監(jiān)督微調(diào)（SFT）可以讓模型從強(qiáng)大的教師模型中提煉知識(shí)，從而獲得出色的能力。
然而，知識(shí)蒸餾本質(zhì)上為學(xué)生模型的性能設(shè)定了上限，特別是當(dāng)學(xué)生模型的基礎(chǔ)模型能力不超過(guò)教師模型時(shí)。
通過(guò)監(jiān)督微調(diào)，LN-Ultra 的性能可以接近 DeepSeek-R1，但無(wú)法超越它。
為了使學(xué)生模型超越教師模型，大規(guī)模強(qiáng)化學(xué)習(xí)（RL）是一種可行的方法，因?yàn)樗试S模型持續(xù)探索新的可能性并進(jìn)行自我學(xué)習(xí)。
由于資源限制，研究者僅對(duì) LN-Ultra 應(yīng)用推理 RL，結(jié)果得到超越教師模型的學(xué)生模型。
訓(xùn)練流程
對(duì)于 LN-Ultra，研究者通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)（RL）增強(qiáng)它的科學(xué)推理能力，采用 DeepSeek-R1 同款的分組相對(duì)策略優(yōu)化（GRPO）算法。
整個(gè)訓(xùn)練過(guò)程大約需要 14 萬(wàn) H100 小時(shí)，持續(xù)訓(xùn)練模型直至其在推理任務(wù)上實(shí)現(xiàn)收斂。
圖 5 顯示了訓(xùn)練過(guò)程中 GPQA-Diamond 的準(zhǔn)確率得分。
獎(jiǎng)勵(lì)機(jī)制設(shè)計(jì)包含兩類：
準(zhǔn)確性獎(jiǎng)勵(lì)：基于標(biāo)準(zhǔn)答案（數(shù)值 / 句子 / 段落），調(diào)用 Llama-3.3-70B-Instruct 模型判斷預(yù)測(cè)結(jié)果匹配度
格式獎(jiǎng)勵(lì)：遵循 DeepSeek-AI 的方案，強(qiáng)制模型在「詳細(xì)思考」模式下用 <think> 標(biāo)簽包裹推理過(guò)程，非該模式時(shí)禁止出現(xiàn)此類標(biāo)簽
研究團(tuán)隊(duì)還對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)過(guò)濾和課程訓(xùn)練（curriculum training）。
數(shù)據(jù)篩選：預(yù)先使用 LN-Super 對(duì)每個(gè)問(wèn)題生成 8 條響應(yīng)，剔除通過(guò)率≥75% 的簡(jiǎn)單樣本
課程訓(xùn)練：采用基于通過(guò)率的漸進(jìn)式批次分配（圖 6 驗(yàn)證其有效性）
動(dòng)態(tài)分布：以高斯函數(shù)建模批次難度，初期側(cè)重高通過(guò)率（簡(jiǎn)單）樣本，后期轉(zhuǎn)向低通過(guò)率（困難）樣本
填充邏輯：優(yōu)先按目標(biāo)分布分配樣本，剩余容量從最大剩余樣本池補(bǔ)充
批內(nèi)處理：同批次樣本隨機(jī)打亂以保持多樣性
用于偏好優(yōu)化的強(qiáng)化學(xué)習(xí)
在完成科學(xué)推理訓(xùn)練之后，研究者對(duì) LN-Super 和 LN-Ultra 模型進(jìn)行了一個(gè)簡(jiǎn)短的強(qiáng)化學(xué)習(xí)階段，重點(diǎn)提升其指令跟隨能力。
研究者還使用 RLHF 對(duì)模型的通用幫助能力和聊天表現(xiàn)進(jìn)行優(yōu)化，同時(shí)保留了模型在數(shù)學(xué)、科學(xué)等其他領(lǐng)域的能力。
如表 4 所示，LN-Super 在 Arena Hard 測(cè)試中取得了 88.3 的高分，超越了專有模型如 Claude 3.5 Sonnet 和 GPT-4o-2024-05-13，也優(yōu)于體量更大的開(kāi)源模型。
為了實(shí)現(xiàn)這一結(jié)果，他們采用了「在線 RPO」（OnLine Reward-Policy Optimization）方法，最大化模型在 HelpSteer2 數(shù)據(jù)集上的預(yù)測(cè)獎(jiǎng)勵(lì)，獎(jiǎng)勵(lì)模型使用的是 Llama-3.1-Nemotron-70B-Reward。
兩輪在線 RPO 訓(xùn)練將 Arena Hard 得分從 69.1 提升到 88.1。
對(duì)于 LN-Ultra，他們使用類似流程，但采用了 GRPO。
對(duì)于 LN-Nano，他們進(jìn)行了兩輪離線 RPO 訓(xùn)練，使用基于策略生成的訓(xùn)練數(shù)據(jù)。
在第一輪中，結(jié)合推理類和非推理類數(shù)據(jù)，并配合適當(dāng)?shù)南到y(tǒng)提示詞，以優(yōu)化模型的推理控制能力。第二輪則專注于提升指令跟隨能力。
評(píng)估結(jié)果
研究者在兩個(gè)基準(zhǔn)類別上評(píng)估所有 Llama-Nemotron 模型的性能：推理任務(wù)和非推理任務(wù)。
推理類基準(zhǔn)包括：AIME24 和 AIME25、GPQA-Diamond、LiveCodeBench 以及 MATH500。
非推理類基準(zhǔn)包括：用于指令遵循評(píng)估的 IFEval、用于函數(shù)調(diào)用工具使用評(píng)估的 BFCL V2 Live 以及用于評(píng)估對(duì)人類對(duì)話偏好對(duì)齊度的 Arena-Hard。
表 3 顯示，盡管模型體積較小，LN-Nano 在所有推理類基準(zhǔn)測(cè)試中都取得了出色的表現(xiàn)。
這表明，監(jiān)督微調(diào)流程和精心策劃的推理數(shù)據(jù)集，在將結(jié)構(gòu)化推理能力遷移至小型模型方面是有效的。
表 4 將 LN-Super 與其參數(shù)規(guī)模相近的其他模型進(jìn)行了對(duì)比，可見(jiàn)這個(gè)模型在推理任務(wù)和非推理任務(wù)中都表現(xiàn)出強(qiáng)勁的競(jìng)爭(zhēng)力。
在「推理關(guān)閉」模式下，LN-Super 的表現(xiàn)與其蒸餾來(lái)源模型 Llama-3.3-70B 相當(dāng)；在「推理開(kāi)啟」模式下，則超越了其他競(jìng)品模型，例如 DeepSeek-R1-Distilled-Llama-70B，在保持良好指令遵循能力的同時(shí)展現(xiàn)出強(qiáng)大的推理能力。
這些結(jié)果表明，LN-Super 是一個(gè)兼具推理優(yōu)化模型和非推理模型優(yōu)點(diǎn)的通用模型，適用于日常助手型任務(wù)和結(jié)構(gòu)化推理任務(wù)。
表 5 顯示，LN-Ultra 在推理和非推理基準(zhǔn)測(cè)試中，與所有現(xiàn)有的開(kāi)源權(quán)重模型相比表現(xiàn)持平或更優(yōu)。它在 GPQA 上達(dá)到了開(kāi)源模型中的最先進(jìn)水平，充分證明了英偉達(dá)研究者大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練方法的有效性。
與 DeepSeek-R1 需要使用 8×H200 的硬件配置不同，LN-Ultra 專門(mén)優(yōu)化為可在單個(gè) 8×H100 節(jié)點(diǎn)上高效運(yùn)行，從而提供更高的推理吞吐量和部署效率。
從表 5 可見(jiàn)，LN-Ultra 的 SFT 階段已經(jīng)在多個(gè)推理基準(zhǔn)測(cè)試（包括 GPQA 和 AIME）上接近或達(dá)到 DeepSeek-R1 的性能。
除了模型原本接受訓(xùn)練的推理和對(duì)話能力之外，他們還對(duì)模型在一個(gè)分布外任務(wù)。
具體來(lái)說(shuō)，模型在 JudgeBench 數(shù)據(jù)集上進(jìn)行了測(cè)試，要求區(qū)分高質(zhì)量與低質(zhì)量的回答。
如表 6 所示，新模型在該任務(wù)上表現(xiàn)優(yōu)于當(dāng)前頂尖的專有模型和開(kāi)源模型。
其中，LN-Ultra 成為表現(xiàn)最好的開(kāi)源模型，明顯超過(guò)了 DeepSeek-R1，僅次于專有模型 o3-mini (high)。
此外，LN-Super 的表現(xiàn)也超過(guò)了 o1-mini，這說(shuō)明新模型在各類任務(wù)中具備很強(qiáng)的泛化能力。
參考資料：
https://arxiv.org/abs/2505.00949
本文來(lái)自微信公眾號(hào)：新智元（ID：AI_era），原標(biāo)題《超越 DeepSeek-R1，英偉達(dá)開(kāi)源新王登頂！14 萬(wàn) H100 小時(shí)訓(xùn)練細(xì)節(jié)全曝光》
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。