軟銀公司與日本慶應(yīng)義塾大學(xué)（Keio University）OMAE實驗室合作，于2025年2月在慶應(yīng)義塾大學(xué)藤澤校區(qū)（位于神奈川縣藤澤市，SFC）啟動了其遠(yuǎn)程自動駕駛支持系統(tǒng)的實地試驗項目。在此次試驗中，在邊緣AI服務(wù)器AITRAS上運(yùn)行的遠(yuǎn)程自動駕駛支持系統(tǒng)以及“交通理解多模態(tài)AI”，二者在支持自動駕駛運(yùn)行方面的效用得到了評估。試驗場景模擬了車輛在轉(zhuǎn)彎時自動駕駛系統(tǒng)發(fā)生故障的情形，而且試驗結(jié)果證實，該遠(yuǎn)程自動駕駛支持系統(tǒng)成功讓車輛自動駕駛至安全停車位置。

 

有關(guān)該遠(yuǎn)程自動駕駛支持系統(tǒng)的概述

 

該款由軟銀研發(fā)的遠(yuǎn)程自動駕駛系統(tǒng)通過5G網(wǎng)絡(luò)，將安裝在自動駕駛汽車前置攝像頭捕捉到的實時畫面?zhèn)鬏斨吝吘堿I服務(wù)器AITRAS。該款感知AI系統(tǒng)，在邊緣AI服務(wù)器中、配備了GPU（圖形處理單元）的NVIDIA加速計算平臺上運(yùn)行，能夠基于傳輸?shù)漠嬅婵焖僮R別障礙物和路面狀況，并將處理結(jié)果實時反饋至自動駕駛汽車，從而實現(xiàn)對自動駕駛功能的實時支持。此外，AI處理流程采用了英偉達(dá)DeepStream SDK，其中集成了神經(jīng)網(wǎng)絡(luò)等復(fù)雜處理任務(wù)，以實現(xiàn)實時視頻分析與追蹤。

 

通過在邊緣AI服務(wù)器上集中執(zhí)行計算密集型AI處理任務(wù)，并僅將關(guān)鍵駕駛信息回傳至自動駕駛車輛，該系統(tǒng)能夠在不要求車輛配備大量計算資源的情況下實現(xiàn)自動駕駛支持。目前，該系統(tǒng)主要針對特定駕駛場景提供支持，但其未來目標(biāo)是為各種駕駛狀況提供支持。

 

實地試驗樣例

 

作為在SFC開展的實地試驗中的一個用例，研究人員進(jìn)行了一次評估試驗，以驗證當(dāng)自動駕駛系統(tǒng)于彎道行駛時發(fā)生故障、無法確保連續(xù)安全駕駛時，在邊緣AI服務(wù)器上運(yùn)行的遠(yuǎn)程自動駕駛支持系統(tǒng)能否實現(xiàn)與標(biāo)準(zhǔn)自動駕駛系統(tǒng)相當(dāng)?shù)淖詣玉{駛表現(xiàn)。在該場景下，自動駕駛系統(tǒng)的特定功能被特意禁用，而車輛在彎道行駛，由自動駕駛支持系統(tǒng)來提供支持。該款感知AI系統(tǒng)基于自動駕駛汽車攝像頭捕捉的畫面分析周圍環(huán)境，并將信息傳輸給車輛。此外，處于風(fēng)險最小化控制模式下的自動駕駛系統(tǒng)基于感知結(jié)果，可以規(guī)劃行駛路徑。該試驗測試了在彎道視線受阻或探測到障礙物的情況下，車輛是否可以識別安全區(qū)域，并慢慢停下，而不是立即停下。

 

在此種情況，如果未能準(zhǔn)確識別車道或探測障礙物，車輛就會存在車道偏離或與障礙物相撞的風(fēng)險。因此，必須實時識別可行駛區(qū)域和障礙物的位置，基于識別結(jié)果，確定合適的行駛路徑并提供相應(yīng)的控制命令。在此次實地試驗中，借助運(yùn)行于邊緣AI服務(wù)器AITRAS上的遠(yuǎn)程自動駕駛支持系統(tǒng)，研究人員們確認(rèn)了即使在彎道行駛且存在障礙物的情況下，仍可實現(xiàn)自動駕駛功能。

 

與交通理解多模態(tài)AI集成在一起

 

通過將運(yùn)行于邊緣AI服務(wù)器AITRAS上的遠(yuǎn)程自動駕駛支持系統(tǒng)與交通理解多模態(tài)AI技術(shù)集成在一起，自動駕駛汽車即使在自動駕駛系統(tǒng)或感知AI單獨無法應(yīng)對的復(fù)雜且不可預(yù)測的情況下，也能繼續(xù)平穩(wěn)行駛。該款交通理解多模態(tài)AI技術(shù)基于通用AI基礎(chǔ)模型打造，結(jié)合日本交通知識（包括交通手冊和交通法規(guī)）和常見駕駛場景、不可預(yù)測駕駛狀況中的風(fēng)險因素及其適當(dāng)?shù)膽?yīng)對措施進(jìn)行了訓(xùn)練。該款A(yù)I基于從自動駕駛汽車傳輸回來的駕駛錄像畫面和數(shù)據(jù)分析交通狀況，并能夠?qū)崟r口頭說明相關(guān)的風(fēng)險和合適的應(yīng)對措施。因此，即使自動駕駛汽車做出了錯誤決策或表現(xiàn)了異常行為，該系統(tǒng)也能通過遠(yuǎn)程支持實現(xiàn)安全駕駛。

 

在SFC進(jìn)行的實地試驗還包括評估“在人行橫道存在障礙物的情況下行駛”的場景。在該項試驗中，該款交通理解多模態(tài)AI分析了交通風(fēng)險，并生成了停車指令。而遠(yuǎn)程自動駕駛支持系統(tǒng)將結(jié)果傳輸給自動駕駛汽車，以評估其是否能夠慢慢地安全停下。評估結(jié)果顯示，在邊緣AI服務(wù)器AITRAS上運(yùn)行的該系統(tǒng)，可實現(xiàn)向自動駕駛汽車低延遲傳輸停車指令；還證實了與未使用邊緣AI服務(wù)器AITRAS的場景相比，該車能夠在障礙物前安全地停下。

 

軟銀將通過持續(xù)學(xué)習(xí)現(xiàn)實駕駛環(huán)境中不可預(yù)測的駕駛風(fēng)險以及相對應(yīng)的應(yīng)對措施，以提升其交通理解多模態(tài)AI的準(zhǔn)確性。此外，未來軟銀計劃利用其遠(yuǎn)程自動駕駛支持系統(tǒng)和交通理解多模態(tài)AI實現(xiàn)完全無人駕駛汽車的運(yùn)行。軟銀將持續(xù)支持提升自動駕駛汽車的安全性、降低運(yùn)營成本、解決相關(guān)挑戰(zhàn)，同時推動自動駕駛的社會化應(yīng)用研發(fā)。