隨著人工智能技術的廣泛應用，智能駕駛系統正在成為汽車的標配。而作為識別周邊環境的“火眼金睛”，“感知”模塊是智能駕駛系統安全、高效運行的核心，而視覺感知更是其中無比重要的一環。浪潮信息AI團隊長期關注AI算法在自動駕駛中的應用，并致力于用軟硬件的算法和技術創新推動行業的進步，做出創新性的成績。最近，浪潮信息在自動駕駛感知權威數據集 NuScenes 評測中，自研算法 DABNet4D 獲得 0. 624 的NDS精度，位列Camera-only榜單第一名。

近日，浪潮信息人工智能與高性能應用軟件部自動駕駛AI研究員趙云博士，在題為《探索自動駕駛純視覺感知精度新突破 -- 多相機的時空融合模型架構算法優化》的自動駕駛線上研討會上，向我們揭開了這一自動駕駛感知算法的神秘面紗。

多相機多任務融合模型優勢

(資料圖片)

自動駕駛汽車完成自動駕駛出行任務，離不開感知、決策、控制三大要素。其中感知系統是車輛和環境交互的紐帶，相當于無人汽車的眼睛。根據所用的傳感器以及傳感器數量和種類等，自動駕駛感知算法可以簡單的分為單傳感器（單任務和多任務）模型、（同類和不同類）傳感器融合模型等四類，并各有其優缺點。

自動駕駛感知的關鍵是3D目標檢測任務，又分為基于相機、Lidar的3D目標檢測，以及相機、Lidar、Radar融合等技術。盡管目前對于3D目標檢測已經有不少的研究，但是在實際應用中仍然有許多的問題，其難點主要在于：

遮擋，遮擋分為兩種情況，目標物體相互遮擋和目標物體被背景遮擋

截斷，部分物體被圖片截斷，在圖片中只能顯示部分物體

小目標，相對輸入圖片大小，目標物體所占像素點極少

缺失深度信息，2D圖片相對于激光數據存在信息稠密、成本低的優勢，但是也存在缺失深度信息的缺點

現有方式大都依賴于物體表面紋理或結構特征，容易造成混淆。

目前，基于相機的方法與基于Lidar的方法準確度差距正在縮小，而隨著Lidar成本降低，融合技術在成本和準確度的平衡上存在優勢。

基于多相機多任務融合模型的3D目標檢測技術正是在成本優勢與日益增長的準確度兩相促進下得到越來越多的認可。目前，多相機多任務融合模型主要遵循特征提取、特征編碼、統一BEV、特征解碼和檢測頭五大部分。

其中，統一BEV 就是鳥瞰圖，亦即將圖像特征統一投射到BEV視角下，用以表示車周圍環境。“統一BEV”的工作可以分為兩大類，一種基于幾何視覺的變換，也就是基于相機的物理原理，優勢在于模型確定，難度在深度估計；另一種是基于神經網絡的變換。

浪潮DABNet4D算法三大創新突破

據趙云介紹，浪潮DABNet4D算法遵循上述框架，采用基于幾何視覺的變換方法，設計了端到端的模塊化整體架構，通過將環視圖檢測統一到BEV空間，為后續的工作提供了很好的模板。

DABNet4D模型被劃分為四個部分，Image-view Encoder，View-transformer，BEV-Encoder，Detection Head。其中Image-view Encoder為圖像編碼模塊將原始圖像轉換為高層特征表示。 View-Transformer模塊負責將圖像特征轉換到BEV坐標中，主要包括三個模塊：深度預測模塊、特征轉換模塊和多幀特征融合模塊。BEV-Encoder & Heads主要是對融合BEV特征進行編碼；Heads用來完成最終的3D目標檢測任務。

關鍵詞： 目標檢測 浪潮信息 廣泛應用 神經網絡 周圍環境