關(guān)注掌鏈公眾號(hào)
洞悉物流供應(yīng)鏈
關(guān)注掌鏈公眾號(hào)
洞悉物流供應(yīng)鏈
3D目標(biāo)檢測是自動(dòng)駕駛領(lǐng)域最核心的技術(shù)之一。近日，在自動(dòng)駕駛權(quán)威評(píng)測集 nuScenes上，京東物流自動(dòng)駕駛團(tuán)隊(duì)提出的雷達(dá)和圖像前融合算法PAI3D，獲得多傳感器融合3D目標(biāo)檢測世界第一的成績（使用任意傳感器，不使用額外數(shù)據(jù)），這意味著京東物流末端配送自動(dòng)駕駛技術(shù)已經(jīng)位于世界領(lǐng)先水平。
圖一：京東物流提出的雷達(dá)和圖像前融合算法PAI3D，獲得多傳感器融合3D目標(biāo)檢測世界第一（使用任意傳感器，不使用額外數(shù)據(jù)）
PAI3D是京東物流自動(dòng)駕駛基于豐富的末端配送場景經(jīng)驗(yàn)，提出的雷達(dá)和圖像前融合3D目標(biāo)檢測算法，該算法充分考慮了識(shí)別精度，計(jì)算效率，傳感器標(biāo)定誤差等問題。在車端實(shí)際使用中，有效解決了遠(yuǎn)處點(diǎn)云稀疏導(dǎo)致的識(shí)別不穩(wěn)定、特殊材質(zhì)吸收點(diǎn)云導(dǎo)致的漏檢、細(xì)小障礙物難以識(shí)別以及僅依賴單目視覺3D目標(biāo)檢測深度估計(jì)不準(zhǔn)確等問題，有力支撐了京東物流智能配送車的大規(guī)模運(yùn)營。
nuScenes數(shù)據(jù)集是由現(xiàn)代汽車集團(tuán)和Aptiv合資成立的自動(dòng)駕駛公司Motional(前nuTonomy)于2019年3月公布的超大型自動(dòng)駕駛數(shù)據(jù)集，擁有從波士頓和新加坡等城市收集的1000個(gè)駕駛場景，140萬張圖像，39幀萬激光雷達(dá)點(diǎn)云，140萬毫米波雷達(dá)幀和從4萬關(guān)鍵幀中標(biāo)注的140萬個(gè)障礙物真值框，是第一個(gè)大規(guī)模自動(dòng)駕駛數(shù)據(jù)集，該數(shù)據(jù)集來自自動(dòng)駕駛車輛的整個(gè)傳感器套件(6個(gè)攝像頭，1個(gè)激光雷達(dá)，5個(gè)雷達(dá)，GPS，IMU）的數(shù)據(jù),在標(biāo)注數(shù)據(jù)量上是KITTI數(shù)據(jù)集的7倍，其規(guī)模和難度超過KITTI、Udacity等公共數(shù)據(jù)集。同時(shí)參與 nuScenes 多傳感器融合3D目標(biāo)檢測的包括華為、商湯科技、三星、中國科學(xué)技術(shù)大學(xué)、上海交通大學(xué)、北京航空航天大學(xué)、北京理工大學(xué)、香港中文大學(xué)、得克薩斯大學(xué)奧斯汀分校、南洋理工大學(xué)、約翰斯·霍普金斯大學(xué)等國內(nèi)外知名企業(yè)和研究機(jī)構(gòu)。
圖二：京東物流雷達(dá)和圖像前融合算法PAI3D示意圖
目前在自動(dòng)駕駛L4方案中，感知主要依賴激光雷達(dá)，但激光雷達(dá)存在一些缺陷，比如遠(yuǎn)處信息稀疏，沒有顏色信息等。圖像信息可以彌補(bǔ)這些缺陷，但也缺乏深度信息。因此，在自動(dòng)駕駛的技術(shù)中，如何利用多模態(tài)的傳感器信息來設(shè)計(jì)3D檢測算法，是自動(dòng)駕駛感知系統(tǒng)的核心基礎(chǔ)。京東物流此次提出的PAI3D算法，通過在高級(jí)特征和低級(jí)特征層面融合圖像和點(diǎn)云信息，揚(yáng)長避短，取得了很好的識(shí)別精度。同時(shí)PAI3D考慮了車端的算力分配，傳感器標(biāo)定誤差等因素，具備良好的實(shí)用性。此外，PAI3D還有效的解決了復(fù)雜公開道路運(yùn)營中遇到的一系列難題，例如，遠(yuǎn)處點(diǎn)云稀疏導(dǎo)致的識(shí)別不穩(wěn)定、特殊材質(zhì)吸收點(diǎn)云導(dǎo)致的漏檢、細(xì)小障礙物難以識(shí)別, 以及僅依賴單目視覺3D目標(biāo)檢測深度估計(jì)不準(zhǔn)確等問題，提升了障礙物位置和類別估計(jì)的準(zhǔn)確度，減少了障礙物誤檢測和漏檢測。
PAI3D此次取得nuScenes數(shù)據(jù)集多傳感器融合3D目標(biāo)檢測世界第一的成績，可以為京東物流末端配送的自動(dòng)駕駛技術(shù)帶來以下三點(diǎn)優(yōu)勢。首先是可通過多傳感器融合實(shí)現(xiàn)模塊復(fù)用、任務(wù)復(fù)用。隨著運(yùn)營場景增加，自動(dòng)駕駛的感知系統(tǒng)需要識(shí)別越來越多的要素，PAI3D能跨傳感器模態(tài)進(jìn)行信息融合，充分利用圖像和點(diǎn)云語義分割信息來實(shí)現(xiàn)1+1>2的效果。第二，充分考慮了計(jì)算資源分配的問題，具備靈活部署到車端異構(gòu)并行計(jì)算平臺(tái)的實(shí)用性。在未來的車載系統(tǒng)中，需要考慮分時(shí)復(fù)用、異構(gòu)并行計(jì)算等問題。PAI3D的融合方式可以隨著計(jì)算資源變化而靈活部署。第三，標(biāo)定誤差和運(yùn)動(dòng)補(bǔ)償不敏感，在日常運(yùn)營中，傳感器相對(duì)位置會(huì)隨著時(shí)間積累而變化，并且激光雷達(dá)和相機(jī)的物理原理導(dǎo)致兩者之間存在一定程度的時(shí)空不一致性。PAI3D充分考慮了這個(gè)問題，能在一定限度內(nèi)容忍標(biāo)定誤差和運(yùn)動(dòng)補(bǔ)償誤差，具備很強(qiáng)的容錯(cuò)性。正是基于這三點(diǎn)優(yōu)勢，不僅彰顯出京東物流在自動(dòng)駕駛領(lǐng)域的技術(shù)實(shí)力，而且意味著京東物流末端配送自動(dòng)駕駛技術(shù)已經(jīng)位于世界領(lǐng)先水平。
近年來，在長期技術(shù)投入和創(chuàng)新驅(qū)動(dòng)下，京東物流軟件、硬件及系統(tǒng)集成的三位一體供應(yīng)鏈物流技術(shù)核心競爭力持續(xù)升級(jí)，目前已形成了覆蓋園區(qū)、倉儲(chǔ)、分揀、運(yùn)輸、配送等供應(yīng)鏈各關(guān)鍵環(huán)節(jié)的技術(shù)產(chǎn)品及解決方案，以提升預(yù)測、決策和智能執(zhí)行能力，幫助更多客戶全面優(yōu)化供應(yīng)鏈網(wǎng)絡(luò)，提升數(shù)智化能力和運(yùn)營效率。此次獲得nuScenes多傳感器融合3D目標(biāo)檢測世界第一，再次彰顯出京東物流在自動(dòng)駕駛領(lǐng)域已經(jīng)搭建起成熟的研發(fā)和運(yùn)營體系，憑借京東物流提供的豐富運(yùn)營場景，可以實(shí)現(xiàn)快速的升級(jí)迭代，加速長尾場景的發(fā)現(xiàn)和解決，完善大規(guī)模運(yùn)營能力，形成技術(shù)和規(guī)模降本，為整個(gè)行業(yè)提供經(jīng)驗(yàn)和借鑒。
