傳感器融合係將來自多個傳感器嘅數據,透過演算法進行組合與處理,從而獲得比任何單一傳感器都更準確、更完整嘅環境資訊嘅過程。佢為自動駕駛系統提供一個連續、可靠嘅「理解」,係L2 級及以上輔助駕駛同自動駕駛嘅核心技術基礎。
每種傳感器都有自己嘅「強項」同「弱點」,單獨運作都會留下感知盲區:
攝錄鏡頭:擅長識別顏色、紋理、文字(如車道線、交通標誌、交通燈),但在強逆光、雨霧或夜間等光照欠佳時性能會顯著下降。
毫米波雷達:擅長在雨雪霧等全天候條件下精確測量物體嘅距離同速度,但難以識別物體具體係咩(如區分行人同路牌)。
激光雷達:能生成高精度嘅三維點雲,精準描繪物體輪廓,但成本高,且大雨或大雪中性能會下降。
傳感器融合嘅目標,就係取長補短,將所有傳感器嘅優勢結合起來。
根據處理階段嘅不同,傳感器融合主要喺三個層級進行:
數據層融合(低層級):喺原始信號層面直接融合,好似將激光雷達嘅點雲與攝錄鏡頭像素一一對應。精度最高,但對數據同步同時間同步要求極為嚴格,適合同類型傳感器(如雙目攝像頭)。
特徵層融合(中間層):分別從各傳感器數據中提取「特徵」(如邊緣、角點等),再綜合呢啲特徵進行環境感知。呢個係工業界較成熟嘅主流方案,平衡咗性能同可靠性。
目標層融合(高層級):各傳感器先獨立完成識別,得到各自嘅「候選目標列表」,再由中央模組進行綜合決策。呢種方式對硬體頻寬要求最低,但資訊損失較多,可能導致目標遺漏。
目前,傳感器融合嘅主流方案係多傳感器融合——通常結合激光雷達、毫米波雷達同攝錄鏡頭,實現互補優勢。
前融合 vs 後融合:
前融合(數據級/特徵級融合):喺神經網絡提取特徵之前就融合多源數據,能最大限度保留資訊。對目標偵測,比單一嘅雷達或純視覺效果更優。
後融合(目標級融合):各傳感器獨立處理後再融合結果,更成熟、易工程化,但可能出現資訊損失。
發展趨勢:由於深度學習同端到端模型嘅發展,業界正從後融合向更複雜嘅前融合演進,以追求更高嘅感知精度。值得注意嘅係,部分廠商(如特斯拉)堅持「純視覺」路線,認為足夠強大嘅演算法能由圖像中提取所有必要資訊。但多數主流廠商仍將多傳感器融合視為更高安全等級嘅必要保障。