IT之家 6 月 25 日消息，富士通 (Fujitsu) 日本當(dāng)?shù)貢r間昨日介紹了其開發(fā)的 PHOTON（自上而下網(wǎng)絡(luò)并行分層計算）架構(gòu)，宣稱其在多查詢_{（生成多個備選結(jié)果并在此基礎(chǔ)上給出最終答案）}場景下性能至高可達(dá)主流 Transformer 架構(gòu)的 475 倍。

富士通表示，Transformer 架構(gòu)的一大弊病是其在長上下文輸入或多線程同步處理的場景下會執(zhí)行大量訪存操作來保留歷史信息，這往往會導(dǎo)致處理速度下降。PHOTON 能高效率低開銷地處理智能體系統(tǒng)等多 I/O 流程，從而降低 GPU 成本。

PHOTON 架構(gòu)在語義層面上進(jìn)行分層處理，相較 Transformer 的詞元級分割可降低計算復(fù)雜度并提供了更好的并行性。而在多查詢最后的決策環(huán)節(jié)，PHOTON 則采用了多數(shù)決定或選擇最佳的方式，僅需一次推理。

測試結(jié)果表明，PHOTON 在 600M、900M、1.2B 等參數(shù)規(guī)模相對較小的模型中可實現(xiàn)更高的迭代吞吐量和更低的內(nèi)存占用，其中 1.2B 模型上實現(xiàn)了 475 倍性能和略低的質(zhì)量。此外，由于 PHOTON 架構(gòu)每次迭代所需的 KV Cache 更少，還能提升最大迭代次數(shù)。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。