面對高溫暴雨的天氣，四周堆砌的集裝箱，港口的自動駕駛卡車仍要保持24小時不間斷的作業(yè)計劃。夜間的安全運輸，無疑對任何一輛自動駕駛卡車來說，挑戰(zhàn)巨大。這就需要一雙智慧的“眼睛”精準識別并避開障礙物。

卡車的“慧眼”功能來自于3D檢測技術(shù)。在自動駕駛領域，它是實現(xiàn)環(huán)境精準感知的關鍵支柱，為車輛運行做出安全決策。現(xiàn)有的3D檢測方案中，單目攝像頭因為部署簡單、成本較低而通用，但難以估算復雜場景中的深度信息，存在一定安全隱患。而采用立體攝像頭，也并非完美。

3D檢測技術(shù)助力 自動駕駛車輛“理解”并“感知”周圍環(huán)境

雖然它模仿人類雙眼成像原理，通過“視差”計算深度信息解決部分問題。但面對強光變化或動態(tài)物體的干擾，對于遠距離或小物體的感知精度欠佳。這好比車輛會常常因為“視力不佳”影響作業(yè)安全與效率。因此，提升深度感知的精度和魯棒性，成為3D檢測技術(shù)的重要挑戰(zhàn)。

一場“視力”升級的考驗

假如這項技術(shù)難題被攻克，帶來的不僅僅是安全性、自動化效率，還能創(chuàng)造降本，加速智能化的進程。這無疑是一項值得探索的創(chuàng)新行動。對此，西井科技聯(lián)合同濟大學，研發(fā)了一種全新的3D檢測法——立體金字塔變壓器（Stereo Pyramid Transformer，SPT），為自動駕駛的“慧眼”賦予了全新的視角以及更清晰的視野。

在今年的IROS（IEEE/RSJ國際智能國際智能機器人與系統(tǒng)會議）學術(shù)會議上，雙方共同就研究成果發(fā)布了一篇論文《3D Object Detection via Stereo Pyramid Transformers with RichSemantic Feature Fusion》（《通過立體金字塔變換器和豐富語義特征融合的3D目標檢測》），并被IROS官方收錄及正式發(fā)表。

榮獲IROS官方收錄及正式發(fā)表 并在IROS 2024國際頂尖學術(shù)會議上廣受關注

SPT的創(chuàng)新在于多層“金字塔”結(jié)構(gòu)，通過逐層提取和融合圖像特征，使模型具備深入理解和處理復雜信息的能力。這一結(jié)構(gòu)使得每一層都能專注于特定的圖像區(qū)域，捕捉到更細致的場景細節(jié)。同時，語義注意力機制幫助模型理解物體之間的空間關系，為自動駕駛車輛規(guī)劃最優(yōu)路徑提供有力支持。

定性結(jié)果表明 SPT檢測算法準確地定位了物體

此外，SPT還創(chuàng)新地結(jié)合了雙目檢測與單目深度預測，將雙目攝像頭與單目攝像頭的數(shù)據(jù)融合，以更高的深度感知精度應對復雜環(huán)境。即便在大雨或或霧霾等惡劣天氣，它依然能夠整合多視角的圖像數(shù)據(jù)，保持穩(wěn)定高效的檢測性能。

技術(shù)驗證的里程碑成果

在KITTI和自有數(shù)據(jù)集上的測試表明，SPT在復雜環(huán)境中的表現(xiàn)力遠超以往的3D檢測技術(shù)。它的檢測準確率達到85.14%的mAP3D，足以證明其在多種環(huán)境中的穩(wěn)定性。在嚴苛的消融實驗中，我們的研發(fā)人員明確了各模塊的貢獻，進一步明確了“深度信息”對于模型構(gòu)建的重要性。

注：KITTI公開基準數(shù)據(jù)集實驗結(jié)果

注：消融實驗結(jié)果

即使在極端測試條件下，如嚴重遮擋和復雜光照下，SPT仍能精準識別目標物體，顯示出其對動態(tài)環(huán)境的強適應性。同時，我們深度誤差分析表明，SPT的像素平均深度估算誤差顯著低于其他模型，從0.25降至0.1567米，為空間位置估計提供了可靠的技術(shù)支持。

西井新能源自動駕駛重卡E-Truck應用于海港運輸

西井新能源無人駕駛牽引車Q-Tractor應用于機場貨站運輸

西井無人駕駛重卡Q-Truck 參與工廠及園區(qū)運輸作業(yè)

在實際海港場景應用中，SPT的檢測能力得到了充分發(fā)揮。有了它的助力，西井自研的新能源商用車E-Truck（自動駕駛重卡）、Q-Truck（無人駕駛重卡）以及Q-Tractor（無人駕駛牽引車）等，不僅能看清遠方的環(huán)境情況，還能及時識別周圍空間并做出精準判斷。這些車輛可以在空港、陸港、鐵路港、工廠及工業(yè)園區(qū)等復雜場景中流暢運行，有效避免潛在的車輛或設備碰撞風險，確保運輸任務的安全高效完成。

產(chǎn)學研驅(qū)動自動駕駛向前

西井科技與同濟大學的產(chǎn)學研合作，是理論技術(shù)與實際應用的有效結(jié)合，確保了這項3D檢測新技術(shù)的可靠性。這一創(chuàng)新方案在成本控制與精準度上取得了良好平衡，為未來的大規(guī)模應用奠定了基礎。

目前，SPT主要搭載在西井科技自主研發(fā)的雙目攝像頭，除了安裝在自動駕駛及無人駕駛重卡上，還被應用于場景化智能識別的貨物檢測。隨著軟件系統(tǒng)不斷迭代，這雙敏銳的眼睛也將不斷進化，提升感知識別的精準度及自動化效率。也對環(huán)境安全、可持續(xù)發(fā)展做出重要貢獻。

西井科技自研雙目攝像頭應用于車端及場景智能識別

在全球大物流領域，西井科技以“智能化、綠色化”為目標，不斷加強新智能、新能源的技術(shù)創(chuàng)新與場景應用，推動多場景的可持續(xù)轉(zhuǎn)型與環(huán)保升級。SPT的實踐成果，不但代表了西井在自動駕駛研發(fā)的競爭力，更是為綠色物流的高效進化提供了強大動力與安全保障。