IT之家 8 月 12 日消息，昆侖萬(wàn)維 SkyWork AI 技術(shù)發(fā)布周于 8 月 11 日啟動(dòng)，連續(xù)五天每天發(fā)布一款模型，覆蓋多模態(tài) AI 核心場(chǎng)景。

今日，昆侖萬(wàn)維帶來(lái)了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升級(jí)版本 ——「Matrix-Game 2.0」，號(hào)稱(chēng)是實(shí)現(xiàn)了通用場(chǎng)景下的交互式實(shí)時(shí)長(zhǎng)序列生成的世界模型。

并且為促進(jìn)交互式世界模型領(lǐng)域的發(fā)展，「Matrix-Game 2.0」全面開(kāi)源，號(hào)稱(chēng)是業(yè)內(nèi)首個(gè)在通用場(chǎng)景上實(shí)現(xiàn)實(shí)時(shí)長(zhǎng)序列交互式生成的世界模型開(kāi)源方案。

「Matrix-Game 2.0」號(hào)稱(chēng)在實(shí)時(shí)生成和長(zhǎng)序列能力上實(shí)現(xiàn)了“質(zhì)的飛躍”。相較于上一版本，2.0 版本更加側(cè)重低延遲、高幀率的長(zhǎng)序列交互性能，能夠以 25 FPS 的速度，在多種復(fù)雜場(chǎng)景中穩(wěn)定生成連續(xù)視頻內(nèi)容，且生成時(shí)長(zhǎng)可擴(kuò)展至分鐘級(jí)，大幅提升了連貫性與實(shí)用性。

在推理速度顯著提升的同時(shí)，模型依然保持了對(duì)物理規(guī)律與場(chǎng)景語(yǔ)義的“精準(zhǔn)理解”，支持用戶(hù)通過(guò)簡(jiǎn)單指令，自由探索、操控并實(shí)時(shí)構(gòu)建結(jié)構(gòu)清晰、細(xì)節(jié)豐富、規(guī)則合理的虛擬環(huán)境。

昆侖萬(wàn)維還開(kāi)源了 Matrix-3D 大模型，從單圖像出發(fā)，生成高質(zhì)量、軌跡一致的全景視頻，并直接還原可漫游的三維空間，對(duì)標(biāo)李飛飛 WorldLabs 的生成效果，可實(shí)現(xiàn)更大范圍的探索空間。

Matrix-3D 由以下核心部分組成：

• 軌跡引導(dǎo)的全景視頻生成模塊：利用場(chǎng)景 Mesh 渲染圖作為條件輸入，訓(xùn)練視頻擴(kuò)散模型生成符合給定相機(jī)軌跡的全景視頻。提升生成視頻在空間結(jié)構(gòu)上的一致性，緩解遮擋錯(cuò)誤與圖像偽影問(wèn)題。

• 雙路徑可選擇的全景 3D 重建模塊：優(yōu)化路徑，對(duì)生成的視頻進(jìn)行超分與 3DGS 優(yōu)化，獲取高質(zhì)量 3D 結(jié)構(gòu)。前饋網(wǎng)絡(luò)路徑：基于 Transformer 直接回歸，從生成視頻 Latent 特征快速預(yù)測(cè) 3D 幾何屬性，實(shí)現(xiàn)高效重建。

• Matrix-Pano 數(shù)據(jù)集：大規(guī)模高質(zhì)量合成數(shù)據(jù)集，包含 116K 條帶有相機(jī)軌跡、深度圖和文本注釋的靜態(tài)全景視頻序列。

IT之家附兩個(gè)模型的開(kāi)源地址如下：

https://github.com/SkyworkAI/Matrix-Game

https://github.com/SkyworkAI/Matrix-3D

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。