IT之家 7 月 15 日消息，小米今日發(fā)布 Xiaomi-Robotics-U0—— 一個(gè)擁有 380 億參數(shù)的多模態(tài)自回歸具身生成基礎(chǔ)模型，是具身領(lǐng)域首個(gè)“通吃”四類任務(wù)的統(tǒng)一生成模型，打通了機(jī)器人圖片和視頻數(shù)據(jù)的生成與編輯鏈路。
具身場景生成（Scene Generation）—— 模型可以根據(jù)文本描述，為指定機(jī)器人本體生成多視角初始場景。無論是桌面、廚房、倉庫，還是更復(fù)雜的開放世界環(huán)境，都可以通過語言描述生成對(duì)應(yīng)的機(jī)器人觀測。
具身遷移（Embodied Transfer）—— 模型可以將已有機(jī)器人軌跡遷移到新的環(huán)境中，例如改變光照、背景、桌面材質(zhì)、目標(biāo)物體或工作區(qū)風(fēng)格，同時(shí)保留原始軌跡中的機(jī)械臂位姿和場景布局。
機(jī)器人交互視頻生成（Video Generation）—— 基于初始觀測和操作指令生成后續(xù)視頻，能夠兼顧動(dòng)作連貫性和物理一致性，且可零樣本泛化到任意場景。
通用文生圖和圖像編輯（Text2Image & Anything2Image）—— 模型同時(shí)保留通用圖像生成與編輯能力，使互聯(lián)網(wǎng)視覺知識(shí)能夠遷移到具身智能任務(wù)中。
官方表示，它既能在保持幾何一致性的前提下，對(duì)已有數(shù)據(jù)做增強(qiáng) —— 換物體、換光照、換背景、加干擾，無需重新采集；也能從零生成全新場景，覆蓋危險(xiǎn)、極端、長尾等真機(jī)難以觸達(dá)的環(huán)境。此外，通過 FlashAR+ 推理加速方案，它的生成效率較原始自回歸范式提升近 83 倍，大幅加快工程落地速度。規(guī)?；删呱碛?xùn)練數(shù)據(jù)用于增益模型效果，從此有了可控且高效的解決方案。
在 WorldArena 評(píng)測基準(zhǔn)上，Xiaomi-Robotics-U0 取得總分第一名（全球 126 個(gè)模型參評(píng)）。此外，真機(jī)評(píng)測中，在未知光照、陌生背景等 Out of Distribution 場景下，使用 Xiaomi-Robotics-U0 擴(kuò)增數(shù)據(jù)訓(xùn)練的策略任務(wù)完成進(jìn)度平均提升超 26%。
相關(guān)代碼與模型權(quán)重已全量開源，IT之家附相關(guān)鏈接：
項(xiàng)目主頁：https://robotics.xiaomi.com/xiaomi-robotics-u0.html
模型權(quán)重：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。