感知模塊作為智能駕駛模塊之一,是將物理世界與車機大腦相連接的重要一環。如何讓汽車像人類一樣,將“眼前所看”轉化為“腦中所想”,進一步變成“所作所為”,這對于算法模型有很大的考驗,BEV(Bird's Eye View)感知算法能夠更好地融合多傳感器的特征,提高感知和預測的準確率,成為當下智能駕駛解決方案的熱門選擇。零束科技憑借自主研發的BEV感知架構,設計基于Transformer技術的多任務模型訓練和全感知鏈路,在有限計算資源下成功實現了動態靜態障礙物感知、車道線感知、Freespace 、動態障礙物軌跡預測等多任務模型訓練;同時,通過外參增強、BEV平面增強和多模態向量引導訓練等技術,支持各極端場景泛化域的感知輸出,在各種復雜場景下表現出高精度的感知結果;基于強大的數據訓練平臺和模型快速迭代能力,實現智能駕駛全場景精準感知與預測,為客戶提供快速量產落地的智能駕駛解決方案。 基于Transformer技術的全場景精準感知BEV架構 零束科技BEV感知架構采用了部分共享網絡和多任務檢測網絡結構,融合 6V圖像融合網絡、時空融合網絡、BEV感知網絡和多任務檢測網絡的設計思想,不僅實現了核心功能如障礙物檢測、車道線檢測等,而且通過BEV occupancy網絡增強freespace感知,提升了對通用障礙物的感知精度。基于transformer技術建模agent與環境 ,輸出agent未來軌跡長度明顯超越傳統rule-based方法。 ![]() BEV障礙物檢測 采用多相機聯合方案,將所有相機的圖像輸入到一個神經網絡中,生成全局BEV視角特征圖,減少額外的跨相機障礙物重識別步驟。 BEV車道線檢測 基于GCN的道路拓撲預測網絡架構設計,顯著提升了車道線感知精度,可支持全場景 Mapless 。 BEV基于Transformer的軌跡預測 結合Transformer,設計車道線感知和動態障礙物的軌跡預測,顯著提升了智能駕駛系統的感知能力和可靠性。 ![]() 支持各極端場景泛化域的感知輸出,精準提供感知結果 智能駕駛系統的可靠性在各種復雜的道路、氣象條件和交通狀況下至關重要。為解決不同車型傳感器外參帶來的感知輸出偏移問題,零束科技采用了外參增強技術和BEV平面增強技術,準確適配各類極端和非常規場景挑戰,增強智駕系統在各種復雜場景中的高魯棒性和適應性,從而降低事故風險。此外,為進一步提升模型在極端環境下的輸出精度,引入多模態向量引導訓練技術,通過對不同模態數據的引導,使模型能夠在各種復雜和極端情況下提供更準確感知結果,包括黑夜、雨天、雪天、霧霾等惡劣場景,以及密集車流中出穿梭的行人和非機動車(包括身穿雨衣的行人和非機動車)。 ![]() BEV平面增強技術 黑夜場景 雨天場景 強大的數據訓練平臺和模型快速迭代能力 訓練數據方面,零束科技采用了三個來源的數據作為車端模型的訓練基礎,包括數采自動標注和人工標注、仿真數據和長尾數據。通過引入大模型技術,生成各種類型的仿真數據和Corner Case數據,其中涵蓋了黑夜、雨天、特殊裝桶、特殊路牌、特殊紅綠燈、車道線、交通路面標志、機動車、行人等各種場景和目標。在不同光照環境、遮擋環境和姿態下,實現了完整的合成鏈路和數據標注鏈路,成功克服了長尾場景的數據補充難題,確保車端模型的有效迭代 。 未利用黑夜生成數據訓練,車輛漏檢 利用黑夜生成數據訓練,車輛成功檢出 模型迭代方面,引入互聯網的敏捷開發流程和門徑式管理,形成了零束科技自己獨特的視覺感知管理體系。迭代速度達到了每月一個大版本,每周一個小版本,已實現了自動上下匝道、大曲率匝道無接管、自動變道超車等功能落地,為零束科技打造高性價比的感知和預測算法產品。 目前,零束科技已完成BEV架構的前融合網絡構建,并積極拓展多模態的前融合架構,未來,零束科技將結合預測和規劃,形成完備結構的端到端自動駕駛框架,不斷擴展智駕場景“邊界”,持續為用戶帶來新價值。 |
![]() |
中國鍛壓網官方微信:掃一掃,立即關注!
關注"中國鍛壓網",獲取獨家行業新聞資訊。 添加方法1: 在“添加好友”中直接添加微信賬號:chinaforge 添加方法2: 微信中掃描左側的二維碼 |