IT之家 2 月 18 日消息,英偉達(dá)于 2 月 16 日發(fā)布博文,宣布其 Blackwell Ultra AI 架構(gòu)(GB300 NVL72)在能效與成本上實(shí)現(xiàn)顯著突破,通過(guò) DeepSeek-R1 模型測(cè)試,相比前代 Hopper GPU,其每兆瓦吞吐量提升 50 倍,百萬(wàn) tokens 成本降低至 35 分之一。

此外,英偉達(dá)還預(yù)告了下一代 Rubin 平臺(tái),預(yù)計(jì)其每兆瓦吞吐量將比 Blackwell 再提升 10 倍,進(jìn)一步推動(dòng) AI 基礎(chǔ)設(shè)施的演進(jìn)。
IT之家注:每兆瓦吞吐量(Tokens / Watt)是衡量 AI 芯片能效比的核心指標(biāo),指每消耗一瓦特電力能處理多少 Token(文本單位)。數(shù)值越高,代表能效越好,運(yùn)營(yíng)成本越低。
英偉達(dá)在博文中指出,性能飛躍的關(guān)鍵,是升級(jí)技術(shù)架構(gòu)。Blackwell Ultra 通過(guò) NVLink 技術(shù),將 72 個(gè) GPU 連接成統(tǒng)一的計(jì)算單元,互聯(lián)帶寬高達(dá) 130 TB/s,遠(yuǎn)超 Hopper 時(shí)代的 8 芯片設(shè)計(jì)。此外,全新的 NVFP4 精度格式配合極致的協(xié)同設(shè)計(jì)結(jié)構(gòu),進(jìn)一步鞏固了其在吞吐性能上的統(tǒng)治地位。

AI 推理成本方面,相比 Hopper 架構(gòu),新平臺(tái)將每百萬(wàn) Token 的成本削減至 35 分之一;即便與上一代 Blackwell(GB200)相比,GB300 在長(zhǎng)上下文任務(wù)中的 Token 成本也降低至 1.5 分之一,注意力機(jī)制處理速度翻倍,適配代碼庫(kù)維護(hù)等高負(fù)載場(chǎng)景。

OpenRouter 的《推理狀態(tài)報(bào)告》指出,與軟件編程相關(guān)的 AI 查詢量在過(guò)去一年中激增,占比從 11% 攀升至約 50%。這類應(yīng)用通常需要 AI 代理在多步工作流中保持實(shí)時(shí)響應(yīng),并具備跨代碼庫(kù)推理的長(zhǎng)上下文處理能力。
英偉達(dá)為應(yīng)對(duì)這一挑戰(zhàn),通過(guò) TensorRT-LLM、Dynamo 等團(tuán)隊(duì)的持續(xù)優(yōu)化,進(jìn)一步提升了混合專家模型(MoE)的推理吞吐量。例如,TensorRT-LLM 庫(kù)的改進(jìn),讓 GB200 在低延遲工作負(fù)載上的性能在短短四個(gè)月內(nèi)提升了 5 倍。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。