IT之家 1 月 8 日消息,如何讓機器人在任務指引和實時觀測的基礎上規(guī)劃未來動作是具身智能領域核心問題,其受“模態(tài)對齊”和“數(shù)據稀缺”制約。智元機器人團隊提出 EnerVerse 架構,通過自回歸擴散模型(autoregressive diffusion),在生成未來具身空間的同時引導機器人完成復雜任務。

據介紹,不同于現(xiàn)有方法簡單應用視頻生成模型,EnerVerse 深度結合具身任務需求,創(chuàng)新性地引入稀疏記憶機制(Sparse Memory)與自由錨定視角(Free Anchor View, FAV),在提升 4D 生成能力的同時,實現(xiàn)了動作規(guī)劃性能的突破。
智元機器人官方稱,實驗結果表明 EnerVerse 不僅具備未來空間生成能力,更在機器人動作規(guī)劃任務中實現(xiàn)了當前最優(yōu)(SOTA)表現(xiàn)。IT之家從智元官方獲悉,目前項目主頁與論文《EnerVerse:設想機器人操作的具身未來空間》已上線,模型與相關數(shù)據集即將開源。

EnerVerse 主要科研成員來自智元機器人研究院具身算法團隊。論文共同一作黃思淵是上海交通大學與上海人工智能實驗室的聯(lián)培博士生,師從 CUHK-MMLab 的李鴻升教授。博士期間的研究課題為基于多模態(tài)大模型的具身智能以及高效智能體的研究。在 CoRL、MM、 IROS、ECCV 等頂級會議上,以第一作者或共同第一作者身份發(fā)表多篇論文。另一位共同一作陳立梁是智元機器人的具身算法專家,主要負責具身空間智能與世界模型的研究。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。