IT之家 12 月 12 日消息，據(jù)通信產(chǎn)業(yè)網(wǎng)今日?qǐng)?bào)道，中國(guó)電信研究院聯(lián)合中國(guó)科學(xué)院計(jì)算技術(shù)研究所、華為昇騰、沐曦等，依托中國(guó)電信云網(wǎng)融合技術(shù)中試驗(yàn)證平臺(tái)，成功完成業(yè)界首個(gè)面向國(guó)產(chǎn)算力的跨架構(gòu)大模型推理技術(shù)驗(yàn)證。

中國(guó)電信研究院牽頭啟動(dòng)“Triton 統(tǒng)一跨架構(gòu)推理框架”技術(shù)攻關(guān)，通過自研 Triton 跨架構(gòu)編譯器與統(tǒng)一大模型算子庫，實(shí)現(xiàn)同一套算子源碼在英偉達(dá)、昇騰、沐曦三類芯片上無縫運(yùn)行。

本次技術(shù)驗(yàn)證已完成 10 余款主流開源模型在三類芯片上的端到端推理測(cè)試，核心指標(biāo)表現(xiàn)優(yōu)異：

• 平均遷移時(shí)間≤3 天，較傳統(tǒng)適配模式效率提升超 80%；

• 精度誤差 < 0.5%，確保模型推理可靠性；

• 在同等延遲約束下，系統(tǒng)吞吐達(dá)到各芯片原生算子庫的 90% 以上，實(shí)現(xiàn)性能與適配效率的雙重優(yōu)化。

此外，框架內(nèi)置的 benchmark 與 Profiling 工具可一鍵生成跨芯性能對(duì)比報(bào)告，為業(yè)務(wù)方提供選芯決策支撐。

IT之家注：中國(guó)電信研究院是中國(guó)電信集團(tuán)下屬研發(fā)機(jī)構(gòu)，聚焦 6G、光網(wǎng)絡(luò)、衛(wèi)星通信等領(lǐng)域核心技術(shù)攻關(guān)。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。