手機版
化工儀器網(wǎng)手機版
化工儀器網(wǎng)小程序
官方微信
公眾號：chem17
掃碼關(guān)注視頻號
康謀技術(shù) | 多傳感器數(shù)據(jù)融合技術(shù)與策略解析
在汽車行業(yè)邁向智能化、自動化的今天，自動駕駛技術(shù)也在快速發(fā)展。為了進一步讓自動駕駛更加“智能化”，像老師傅一樣進行開車，離不開對車輛周圍環(huán)境的全面認識。
面對復雜的感知任務，單一傳感器的局限性逐漸顯現(xiàn)，比如相機對目標的顏色和紋理比較敏感，但易受光照、天氣條件的影響。LiDAR以獲得目標精確的3D信息，但無法獲得目標紋理，易產(chǎn)生噪點等情況。多傳感器數(shù)據(jù)融合技術(shù)應時而生，通過整合不同傳感器的優(yōu)勢，為車輛提供了一個全面、立體的感知維度。
一、多傳感器融合的先決條件
當多種傳感器裝在同一輛車上時，使用同一個系統(tǒng)來采集并處理數(shù)據(jù)。為了確保這些傳感器采集的數(shù)據(jù)能有效精準識別同一個物體，需要對這些傳感器進行統(tǒng)一時鐘和坐標系，即最終實現(xiàn)：同一個目標在同一個時刻出現(xiàn)在不同類別的傳感器的同一個世界坐標處。
1、統(tǒng)一時鐘
確保所有傳感器數(shù)據(jù)在時間上的一致性，為后續(xù)處理提供同步基準。關(guān)于時間同步的詳細內(nèi)容可見往期內(nèi)容“《自動駕駛：揭秘高精度時間同步技術(shù)（一）和（二）》”。
2、統(tǒng)一坐標系
統(tǒng)一坐標系包含兩步，一是運動補償，二是傳感器標定。
① 運動補償：確保數(shù)據(jù)時效性
運動補償是針對周期性采集數(shù)據(jù)的傳感器，如激光雷達（LiDAR），其數(shù)據(jù)采集周期可能長達100毫秒。由于車輛在運動，采集周期的開始和結(jié)束時刻，車輛的位置已經(jīng)發(fā)生了變化。這就需要對采集的數(shù)據(jù)進行運動補償，以確保數(shù)據(jù)反映的是車輛在某一固定時刻的環(huán)境狀態(tài)。
② 傳感器標定：確立坐標轉(zhuǎn)換
傳感器標定是確保每個傳感器的數(shù)據(jù)都能準確映射到世界坐標系中的過程。它包括內(nèi)參標定和外參標定兩個部分。
內(nèi)參標定：針對單個傳感器，解決其內(nèi)部參數(shù)，如攝像頭的焦距和畸變，確保傳感器數(shù)據(jù)在自身坐標系中的準確性。詳細內(nèi)容可見往期內(nèi)容“《深入探討：自動駕駛中的相機標定技術(shù)》”。
外參標定：在已知的世界坐標系下，解決不同傳感器之間的相對位置和方向，確保它們數(shù)據(jù)的一致性。
外參標定的準確性依賴于內(nèi)參標定的精確性，只有每個傳感器的內(nèi)參被精確校準，我們才能準確地知道它們在世界坐標系中的相對位置。
二、多傳感器融合方法
在多傳感器采集系統(tǒng)中做好統(tǒng)一時鐘和統(tǒng)一坐標系后，就可以將這些數(shù)據(jù)進行融合了。關(guān)于具體做法，這里舉一個簡單的例子：
1、相機與LiDAR融合
在實現(xiàn)激光雷達與相機標定、運動補償和時間同步后，通過多傳感器深度融合，執(zhí)行幾何變換將三維點云數(shù)據(jù)投影至二維圖像平面，實現(xiàn)物理空間到視覺空間的映射。最后，整合深度信息與圖像像素數(shù)據(jù)，形成深度標簽圖像，從而為自動駕駛車輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。
2、融合方式
根據(jù)數(shù)據(jù)在整個流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。
前融合（Early-Fusion）：是在最原始的層面上將不同傳感器的數(shù)據(jù)進行整合。這種融合方式涉及直接在空間上對齊傳感器數(shù)據(jù)，形成一個統(tǒng)一的多模態(tài)數(shù)據(jù)集?？梢赃M行數(shù)據(jù)統(tǒng)一標識，降低信息損失。
深度融合（Deep-Fusion）：是在特征提取之后、決策之前進行的融合。這種融合方式涉及將不同傳感器的數(shù)據(jù)在特征空間中進行組合，通常通過級聯(lián)或元素相乘的方式實現(xiàn)。通過特征互補可以提高魯棒性和提升泛化能力。
后融合（Late-Fusion）：是在各個傳感器獨立完成目標檢測或分類等任務后，將它們的預測結(jié)果進行綜合分析，以做出最終的決策。通過綜合多個傳感器的預測結(jié)果，提高決策準確性?？筛鶕?jù)需要靈活添加或替換傳感器模型。
3、應用場景
在多傳感器融合中，前融合、深度融合和后融合各有優(yōu)勢和適用場景。
前融合：在數(shù)據(jù)層面上實現(xiàn)早期整合，適合對原始數(shù)據(jù)依賴性較強的應用。
深度融合：在特征層面上進行信息融合，適合需要特征互補的復雜感知任務。
后融合：在目標層面上進行決策整合，適合需要最終決策優(yōu)化的場景。
在實際應用中，根據(jù)系統(tǒng)需求和傳感器特性，選擇合適的融合策略或多種策略的組合，以達到最佳的感知效果。
相關(guān)產(chǎn)品
免責聲明
- 凡本網(wǎng)注明“來源：化工儀器網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡有限公司-化工儀器網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應在授權(quán)范圍內(nèi)使用，并注明“來源：化工儀器網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責任。
- 本網(wǎng)轉(zhuǎn)載并注明自其他來源（非化工儀器網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負責，不承擔此類作品侵權(quán)行為的直接責任及連帶責任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時，必須保留本網(wǎng)注明的作品第一來源，并自負版權(quán)等法律責任。
- 如涉及作品內(nèi)容、版權(quán)等問題，請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。
采購中心