IT之家 7 月 31 日消息，字節(jié)跳動 Seed 團隊今天宣布推出實驗性擴散語言模型 Seed Diffusion Preview，目標是以結(jié)構(gòu)化的代碼生成為實驗領(lǐng)域，系統(tǒng)性地驗證離散擴散技術(shù)路線作為下一代語言模型基礎(chǔ)框架的可行性。

實驗結(jié)果顯示，Seed Diffusion Preview 代碼推理速度可達到 2146 tokens / s，速度相比同等規(guī)模的自回歸模型提升 5.4 倍。在多個業(yè)界基準上，Seed Diffusion Preview 性能與優(yōu)秀的自回歸模型相當(dāng)，并在代碼編輯等任務(wù)上實現(xiàn)超越。

IT之家從 Seed 團隊介紹獲悉，在實現(xiàn)高效采樣的同時，模型在多個代碼生成基準測試中，表現(xiàn)出與同規(guī)模自回歸模型相當(dāng)?shù)男阅?/strong>。此外，在代碼編輯（如 CanitEdit 等）這類需要全局視角規(guī)劃的任務(wù)中，模型展現(xiàn)了擴散模型框架的內(nèi)在優(yōu)勢，性能超過基于自回歸的模型，為解決更復(fù)雜的結(jié)構(gòu)化推理問題提供了新的可能性。

官方表示，Seed Diffusion Preview 驗證了離散擴散模型在大型語言模型上的推理加速潛力。團隊同時認為，推理加速僅是這一技術(shù)路徑最直接的表層優(yōu)勢。Seed Diffusion 項目將致力于挖掘其更深遠的價值，持續(xù)探索其規(guī)?；膳c在復(fù)雜推理任務(wù)中的應(yīng)用。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。