“多模態(tài)大模型”AI安全員：實時處理圖像數(shù)據(jù)，識別危險場景

多模態(tài)大模型是人工智能技術(shù)的一個關(guān)鍵進步，它將文本、圖像、音頻、視頻等多種數(shù)據(jù)形式整合進統(tǒng)一的框架中，具備跨模態(tài)理解與生成能力，能夠執(zhí)行圖像描述、視覺問答、視頻生成等多種任務(wù)。依靠先進的多模態(tài)大模型技術(shù)，無人駕駛中的 AI 安全員能夠?qū)囕v運行過程中的相機圖像進行實時處理與分析，識別出車輛行駛時遇到的危險場景和異常情況，為無人駕駛提供安全保障。

算法難以100%覆蓋的長尾場景，AI安全員從容應(yīng)對

無人駕駛車輛行駛過程中，除了需要與常規(guī)的交通參與者產(chǎn)生交互，還需要應(yīng)對稀有而復雜的長尾場景。它們的發(fā)生概率很低，但一旦出現(xiàn)，會對自動駕駛系統(tǒng)帶來巨大挑戰(zhàn)。仙途智能無人駕駛清掃車作業(yè)時通常會貼邊行駛，常見的長尾場景包括不規(guī)則的路面坑洞、臨時的施工區(qū)域、偶發(fā)的交通事故等。

長尾場景之所以重要，是因為它們代表了自動駕駛系統(tǒng)必須能夠應(yīng)對的罕見但危險的情況。對于人類駕駛員來說，處理這些邊緣情況往往基于直覺和多年的經(jīng)驗積累。對于自動駕駛系統(tǒng)來說，為了在遇到這些罕見情況時仍能安全地操控車輛，需要大量的數(shù)據(jù)和復雜的算法來模擬人類的決策過程。但由于現(xiàn)實世界復雜多變，算法難以 100% 覆蓋全部場景，此時就需要 AI 安全員介入，利用與人類相似的知識與經(jīng)驗理解場景、保證安全。

AI安全員應(yīng)用實例：理解場景，給出建議

仙途智能基于歷史接管數(shù)據(jù)與閉環(huán)仿真數(shù)據(jù)，利用大模型標注與人工對齊，構(gòu)建了決策規(guī)劃的異常數(shù)據(jù)集。在仙途智能常態(tài)化運營真實數(shù)據(jù)的不斷充實下，多模態(tài)大模型的AI安全員將能夠更加準確地理解場景并給出駕駛建議。

來看幾個實例。綠色框線代表無人駕駛車輛的規(guī)劃軌跡（Planning Trajectory），紅色框線代表無人車的關(guān)注區(qū)域（Region of Interest）。左上角黑色框線中的內(nèi)容代表AI安全員對當前場景的理解和判斷，包括天氣情況、場景標簽、駕駛建議等。

仙途智能AI安全員場景實例案例集錦

突然發(fā)生的交通事故

無人駕駛清掃車正沿右側(cè)輔道執(zhí)行左貼邊作業(yè)。雨后路面濕滑，外賣騎手在高速行駛時突然滑倒，非常危險。系統(tǒng)提示交通事故（Traffic Accident）狀態(tài)碼，并預警可能需要遠程介入。所幸騎手無大礙，緩慢起身，系統(tǒng)提示減速慢行，小心行駛。

臨時交通管制及施工區(qū)域通行

無人駕駛車輛輔道作業(yè)過程中，同時遇到輔道地面施工及主道高空作業(yè)，交警上前疏導交通。系統(tǒng)提示交警管控（Traffic Police Control）及施工區(qū)域（Construction Area）狀態(tài)碼，并預警可能需要遠程介入。在遠程運營的協(xié)助下，無人駕駛清掃車從主道第二車道繞行。

應(yīng)急車輛交互

無人駕駛車輛正沿快速路輔路右側(cè)執(zhí)行貼邊清掃任務(wù)，一輛閃爍警示燈的救護車突然出現(xiàn)在視野中并?？吭诼愤?，代表著附近存在人員傷病的緊急情況。系統(tǒng)給出應(yīng)急車輛（Emergency Vehicles）狀態(tài)碼，提示需要遠程介入，同時在確保安全的情況下，車輛減速避讓并變道繞行。

弱勢道路使用者交互

無人駕駛清掃車正沿右側(cè)輔道執(zhí)行無人清掃作業(yè)，由于道路右側(cè)的臨停機動車，輔道十分狹窄，僅容一輛車通行。此時發(fā)現(xiàn)左側(cè)有孩童和蹲坐的行人，系統(tǒng)提示高風險行人（High-Risk Pedestrians）狀態(tài)碼，表示需要減速慢行并預警可能需要遠程介入。在高精度的感知和規(guī)劃下，無人駕駛清掃車略微向右避開行人緩慢通過。

AI的安全托底：人類遠程安全員多途徑輔助脫困

部分緊急和極端場景下，AI安全員將給出請求遠程介入的通知指令，主動告知人類遠程安全員。遠程安全員可以通過高清視頻流（前視角及環(huán)視角實時畫面）和實時傳感器數(shù)據(jù)（高精地圖、各類障礙物識別、路徑規(guī)劃等）獲取車輛周邊環(huán)境信息，使用多種挪車方式輔助車輛脫困。目前，仙途智能無人駕駛車輛已支持基于遠程運營系統(tǒng)的參考線挪車、方向盤挪車、APP挪車和駕駛艙挪車，為車輛提供在緊急和極端場景下的安全托底和額外保障。

遠程輔助駕駛系統(tǒng)操作界面

云端大模型作為AI安全員的使用，極大程度提升了無人駕駛車輛針對長尾場景的識別和理解能力，提高人類遠程安全員的工作效率，為遠程1vN規(guī)模的不斷擴大夯實技術(shù)基石，全面擴展仙途智能全球化商業(yè)版圖。

未來，仙途智能將以更加開放的姿態(tài)，不斷吸納整合前沿人工智能技術(shù)和算法，通過持續(xù)創(chuàng)新突破，全方位提升無人駕駛技術(shù)的安全性與穩(wěn)定性，為無人駕駛技術(shù)商業(yè)化的迅猛發(fā)展打造堅實的技術(shù)壁壘，為全球無人駕駛技術(shù)發(fā)展和產(chǎn)業(yè)變革貢獻卓越力量。