IT之家 4 月 16 日消息，騰訊宣布，今天，混元 3D 世界模型 2.0（HY-World 2.0）正式發(fā)布并開源。
IT之家從官方介紹獲悉，HY-World2.0 是一個多模態(tài)世界模型，能夠根據(jù)文字、圖片、視頻等不同類型輸入，自動生成、重建和模擬 3D 世界，同時支持多格式 3D 資產(chǎn)（Mesh/3DGS / 點云等）導出，支持與現(xiàn)有的游戲工作流無縫對接，用于快速生成游戲地圖和關(guān)卡原型?；煸澜缒Ｐ?2.0 讓 AI 從“對話”、" 畫圖 "、“捏物體”，進化到了“造世界”—— 生成包含人、物、景的完整“世界”。
此前主流的世界模型，例如谷歌 Genie 3 和混元世界模型 1.5，僅能生成視頻文件，本次發(fā)布的世界模型 2.0 的實用性更進一步 —— 它可以直接生成可二次編輯的 3D 資產(chǎn)文件，并且，這些生成的 3D 資產(chǎn)可以直接導入到游戲制作或者具身仿真引擎。
支持多種模態(tài)輸入，草圖變地圖、圖片變空間
輸入一段文字或一張圖片，模型即可精準解析復雜語義，一鍵生成風格多樣的可漫游世界。相比較混元世界模型 1.0，2.0 的模型架構(gòu)全面升級，畫面精細度和真實感大幅提升。用戶還可以自定義風格，按需生成真實風、漫畫風、游戲風的 3D 空間。生成完成后，用戶可以將資產(chǎn)導入到 Unity、UE 等引擎、進行二次編輯，顯著降低了游戲地圖的創(chuàng)作門檻。
模型還支持角色模式，用戶可以操作角色在街道、建筑、場景中自由探索，不限時間，具有物理碰撞，就像在游戲里一樣。
同時，世界模型 2.0 支持復刻真實 3D 場景，用戶輸入一段真實空間的視頻或者多視角圖片，模型就能構(gòu)建出高精度的數(shù)字孿生空間?；谏壓蟮?WorldMirror 2.0 架構(gòu)，模型支持任意尺寸圖像與視頻輸入，一次性預(yù)測密集點云、多視角深度圖、表面法線及相機參數(shù)，一次生成永久可復用。未來，室內(nèi)裝修預(yù)覽、城市規(guī)劃、文化遺產(chǎn)保護等場景，都可以基于這一能力實現(xiàn)快速構(gòu)建和還原。
與其他世界模型相比，混元世界模型 2.0 在場景完整度（物體側(cè)面和背面）以及對輸入圖片的遵循程度表現(xiàn)更優(yōu)?；煸傻?3DGS 與 Mesh 的混合表征，也讓用戶能夠開啟角色模式進行有真實物體碰撞的交互。
以 3D 生成為主軸，統(tǒng)一空間理解、生成、重建
混元官方稱，傳統(tǒng)方法需要精確的相機參數(shù)才能生成全景圖，但現(xiàn)實中這些參數(shù)往往拿不到。
HY-World 2.0 全新升級 HY-Pano-2.0 模型，采用端到端隱式學習方案，讓模型自己學會從普通圖片到 360 度全景的空間映射，完全不需要任何相機元數(shù)。再配合團隊的真實全景照片和 UE 引擎合成數(shù)據(jù)的混合訓練策略，保證了生成質(zhì)量和泛化能力。
通過團隊自研的空間 Agent 技術(shù)，結(jié)合 VLM 與游戲自動尋路算法常用的 navmesh 表征，讓大模型能夠理解空間語義，并智能規(guī)劃出有意義的漫游軌跡，確保覆蓋場景中最有價值的區(qū)域，同時避免穿墻、跑飛。模型會根據(jù)每個場景的不同語義，規(guī)劃出“環(huán)繞物體”、“最大漫游”等五類運鏡軌跡，這樣搭配下一步的世界擴展模型，可以讓用戶在 3D 世界中的探索路徑既自然又有趣。
這一步的關(guān)鍵創(chuàng)新在于“精確的相機控制 + 細粒度視覺細節(jié)保持 + 空間一致性記憶機制”，這一套流程可以確保新生成的區(qū)域與已有區(qū)域在幾何和視覺上完美銜接，不會“穿幫”。通過記憶力機制的設(shè)計以及體系化的中間訓練和后訓練，團隊打造了目前業(yè)界最強的新視角生成（NVS）模型 HY-WorldStereo。生成畫面對輸入相機的精準跟隨，且多條運鏡的生成結(jié)果保持空間一致不會有沖突；通過后訓練算法的設(shè)計，使得保持快速生成的同時畫面質(zhì)量不會衰減。
最后，將所有生成的片段通過 HY-WorldMirror 2.0 整合為一個統(tǒng)一的、可交互的 3D 世界。使用定制的 Depth alignment 和自適應(yīng) Mask gaussian 場景優(yōu)化算法，生成的場景采用 3D 高斯?jié)姙R（3DGS）表示，同時可以轉(zhuǎn)出高質(zhì)量 mesh，可以無縫導出到 Unity / UE 等主流游戲引擎，支持二次編輯和創(chuàng)作。
參考
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。