大疆車載負(fù)責(zé)人沈邵劼，帶隊發(fā)了一篇新論文。
隨著高階智駕開城進(jìn)展加快，這給系統(tǒng)的高精定位、實時建圖能力帶來不小的考驗。
在這樣的背景下，來自香港大學(xué)、港科大、上交和北理的沈邵劼團(tuán)隊，基于攝像頭、激光雷達(dá)和 IMU，帶來一種新方式：LIV-GaussMap。通過這種方案實時構(gòu)建出的地圖，精度可以和照片媲美：
更重要的是，這種方法需要的硬件、軟件還有團(tuán)隊收集的數(shù)據(jù)集，全部開源。
高精定位技術(shù)路線
以自動駕駛系統(tǒng)為例，模塊化通?？煞譃槿糠郑焊兄⒍ㄎ缓鸵?guī)控。
經(jīng)常提到的“重感知、輕地圖”路線，這里的地圖指的就是定位模塊。
而自動駕駛等級越高，對于定位的精度要求也會越高。因為精度越高，系統(tǒng)對周圍環(huán)境了解越清楚，車道線、紅綠燈等等都“一目了然”，才能更方便系統(tǒng)做出駕駛決策，并且是正確的決策。
一般來說，高精定位技術(shù)路線有三種，衛(wèi)星信號定位（GNSS+RTK）、慣性導(dǎo)航定位（INS / IMU）和環(huán)境特征匹配定位。并且由于三種技術(shù)方案各自都有優(yōu)缺點，實際通常會采用多種方案融合的方式。
比如最常見的衛(wèi)星定位和慣性導(dǎo)航，可通過松耦合，緊耦合或深耦合的方式進(jìn)行定位，也就是俗稱的衛(wèi)慣組合。
衛(wèi)星可修正慣導(dǎo)系統(tǒng)的誤差，提高精度；慣導(dǎo)則可以防止衛(wèi)星信號被遮擋或干擾的情況下，車輛無法獲得定位信息。
不過，即使用多種方案融合，在城市工況中衛(wèi)星被嚴(yán)重遮擋（隧道、高架橋），甚至是地下停車場這種完全“丟星”的情況，就又回到了單一技術(shù)方案：只依賴慣導(dǎo)。
而慣導(dǎo)系統(tǒng)如果長時間沒有外部信息修正，誤差會不斷積累，導(dǎo)致無法給出準(zhǔn)確的定位結(jié)果。因此就誕生了解耦衛(wèi)慣，引入其他傳感器等信息的新方式。比如利用慣導(dǎo)和攝像頭的視覺慣性里程計測距（Visual Inertial Odometry，VIO），類似的還有使用激光雷達(dá)的 LIO。
而本篇論文的團(tuán)隊，選擇同時引入攝像頭和激光雷達(dá)信息，提出了一種新解法。
LIV-GaussMap：實時生成照片級地圖
LIV-GaussMap 系統(tǒng)集成激光雷達(dá)（LiDAR）、慣性測量單元（IMU）和攝像頭（Visual）的信息，進(jìn)行多模態(tài)的傳感器融合，能實時生成 3D 輻射場地圖，是一種新方式生成的緊耦合地圖。
這種方法生成的地圖，無論是小范圍場景（a）還是大范圍場景（b），精度明顯提升，并且不會產(chǎn)生奇怪的虛影。
這又是怎么做到的？系統(tǒng)首先進(jìn)行硬件同步，也就是攝像頭產(chǎn)生的圖像和激光雷達(dá)生成的點云之間實現(xiàn)精確時間對齊，為數(shù)據(jù)融合做準(zhǔn)備。
隨后，系統(tǒng)利用激光雷達(dá)和 IMU 融合的系統(tǒng)進(jìn)行實時定位和地圖構(gòu)建，基于迭代誤差狀態(tài)卡爾曼濾波（IESKF）提供場景初步的高斯結(jié)構(gòu)，和初始點云數(shù)據(jù)。
接下來，系統(tǒng)使用圖像亮度梯度優(yōu)化高斯結(jié)構(gòu)和球面諧波系數(shù)，用優(yōu)化后的結(jié)果得到表面高斯模型。
最后用光度插值和外推來合成新的視圖，并且系統(tǒng)能做到自適應(yīng)控制，根據(jù)點云的分布和密度，動態(tài)調(diào)整地圖的結(jié)構(gòu)，確保生成的是有細(xì)節(jié)、沒有任何間隙的地圖。
基于真實數(shù)據(jù)集，和其他最先進(jìn)算法相比，比如 Plenoxel、F2-NeRF、3D-GS 等，LIV-GaussMap 生成的效果更真實、精度更高。
從得分來看，LIV-GaussMap 的多項成績也均優(yōu)于其它方式。比如能夠衡量圖像質(zhì)量的指標(biāo) PSNR，以及基于深度學(xué)習(xí)的圖像相似性度量 LPIPS，無論是內(nèi)插還是外插，LIV-GaussMap 效果都是最優(yōu)的。
實時 3D 建圖，不止于車
從實際的生成效果來看，LIV-GaussMap 最大特點就是能夠準(zhǔn)確還原各類物體的表面特征和幾何結(jié)構(gòu)，可以構(gòu)建詳細(xì)地圖。
而從圖像引入的亮度梯度數(shù)據(jù)，可以幫助解決激光雷達(dá)點云分布不合理或者測量不準(zhǔn)確的問題。
同時，LIV-GaussMap 系統(tǒng)對于激光雷達(dá)類型沒有要求，無論是固態(tài)還是機械的激光雷達(dá)，同時支持重復(fù)和非重復(fù)掃描模式。
并且，雖然 SLAM 這種能夠?qū)崟r構(gòu)建高精地圖的能力，對于高階智能駕駛來說不可或缺，但 LIV-GaussMap 也能應(yīng)用在數(shù)字孿生、虛擬現(xiàn)實、機器人等需要實時渲染 3D 場景的領(lǐng)域。
從論文團(tuán)隊的背景來看，也都來自多個專業(yè)。
作者 Sheng Hong 和 Junjie He 對本文有同等貢獻(xiàn)，其中 Sheng Hong 來自香港科技大學(xué)計算機電子工程系，是機器人研究所-空中機器人組博士生。
Junjie He 則和作者之一 Xinhu Zheng，都來自香港科技大學(xué)（廣州）系統(tǒng)樞紐平臺（System hub）。
作者之一 Chunran Zheng 來自香港大學(xué)，本科畢業(yè)于西安交通大學(xué)自動化專業(yè)，目前在香港大學(xué) MaRS 實驗室攻讀博士學(xué)位。
本文的其他作者則都是美國電氣電子工程師學(xué)會（IEEE）的會員，包括來自上海交通大學(xué)自動化系教授 Hesheng Wang，已經(jīng)在國內(nèi)外期刊和學(xué)術(shù)會議上發(fā)表論文超過 150 篇，SCI 引用超過 200 次，谷歌學(xué)術(shù)被引次數(shù)超過 1400 次，曾多次擔(dān)任 IEEE 會議主席，還是多份機器人相關(guān)期刊副主編。
還有來自北京理工大學(xué)自動化學(xué)院的方浩教授，2002 年獲得西安交通大學(xué)博士學(xué)位，曾參與多項國防預(yù)研項目，公開發(fā)表學(xué)術(shù)論文超過 40 篇。
本文的通訊作者是劉康丞教授，來自香港科技大學(xué)（廣州），博士就讀于香港中文大學(xué)，主動機器人和 3D 視覺方向，曾擔(dān)任 20 余種國際會議程序會議主席，和 10 余種國際頂級期刊的程序委員會委員或?qū)徃迦恕?/p>
最后一位作者就是沈劭劼，是港科大計算機電子工程學(xué)系副教授，以及港科大-大疆聯(lián)合創(chuàng)新實驗室（HDJI Lab）主任，同時還是大疆車載負(fù)責(zé)人。
沈劭劼?lián)碛匈e夕法尼亞大學(xué)電氣與系統(tǒng)工程博士學(xué)位，研究領(lǐng)域包括機器人和無人機的狀態(tài)估計、傳感器融合、定位和地圖繪制等，不僅多次擔(dān)任國際機器人會議和期刊的主席、高級編輯等職務(wù)，還多次獲得 AI 2000 最具影響力學(xué)者獎。
目前，LIV-GaussMap 的硬件、軟件，還有團(tuán)隊收集的數(shù)據(jù)集將在 github 上開源，感興趣的可以等等看～
論文傳送門：
github 傳送門：
本文來自微信公眾號：智能車參考 （ID：AI4Auto），作者：有據(jù)無車
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。