Waymo 今天發(fā)布了一篇新的研究論文，介紹了一種名為“端到端多模態(tài)自動(dòng)駕駛模型”（EMMA）的新模型。這種新的端到端訓(xùn)練模型能夠處理傳感器數(shù)據(jù)，生成“自動(dòng)駕駛車輛的未來(lái)軌跡”，幫助 Waymo 的無(wú)人駕駛車輛做出關(guān)于去哪里以及如何避開障礙物的決策。

但更重要的是，這是首次有跡象表明，自動(dòng)駕駛領(lǐng)域的領(lǐng)導(dǎo)者計(jì)劃將 MLLM 應(yīng)用于其業(yè)務(wù)。這意味著 MLLM 可能不僅僅局限于聊天機(jī)器人、電子郵件組織者和圖像生成器等領(lǐng)域，而是可以擴(kuò)展到自動(dòng)駕駛領(lǐng)域。

在研究中 Waymo 提出，傳統(tǒng)的自動(dòng)駕駛系統(tǒng)通常會(huì)為感知、映射、預(yù)測(cè)和規(guī)劃等各種功能開發(fā)特定的“模塊”。雖然這種方法在過去多年中效果顯著，但也存在可擴(kuò)展性問題，主要是由于模塊間的誤差積累和通信有限。此外，這些模塊由于是“預(yù)定義”的，因此面對(duì)“新環(huán)境”時(shí)適應(yīng)能力較差。

Waymo 認(rèn)為，像 Gemini 這樣的 MLLM 可以解決這些問題。首先，這些模型是經(jīng)過大量互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練的“通才”，能提供超出常規(guī)駕駛記錄的豐富“世界知識(shí)”；其次，它們通過“鏈?zhǔn)酵评?rdquo;等技術(shù)展現(xiàn)出“卓越”的推理能力，能夠?qū)?fù)雜任務(wù)分解為一系列邏輯步驟，模仿人類的思維方式。

Waymo 表示，EMMA 模型在幫助機(jī)器人出租車應(yīng)對(duì)復(fù)雜環(huán)境方面表現(xiàn)良好。例如，當(dāng)遇到各種動(dòng)物或道路施工時(shí)，EMMA 能夠幫助無(wú)人駕駛汽車找到合適的行駛路線。

IT之家注意到，特斯拉等其他公司也在大力開發(fā)其自動(dòng)駕駛汽車的端到端模型。特斯拉首席執(zhí)行官埃隆?馬斯克聲稱，最新版本的 FSD 12.5.5 采用了“端到端神經(jīng)網(wǎng)絡(luò)”人工智能系統(tǒng)，將攝像頭圖像轉(zhuǎn)換為駕駛決策。

這表明，在部署真正的無(wú)人駕駛車輛方面領(lǐng)先于特斯拉的 Waymo 也對(duì)追求端到端系統(tǒng)感興趣。該公司表示，其 EMMA 模型在軌跡預(yù)測(cè)、物體檢測(cè)和道路圖理解方面表現(xiàn)出色。

但 EMMA 也有其局限性，Waymo 承認(rèn)，在將該模型投入實(shí)踐之前，還需要進(jìn)行未來(lái)的研究。例如，EMMA 無(wú)法整合來(lái)自激光雷達(dá)或雷達(dá)的 3D 傳感器輸入，Waymo 表示這是因?yàn)?ldquo;計(jì)算開銷太高”，并且一次只能處理少量圖像幀。

研究論文中未提及的另一個(gè)風(fēng)險(xiǎn)是，像 Gemini 這樣的 MLLM 會(huì)存在“幻覺”，而無(wú)人駕駛汽車的容錯(cuò)率非常有限。因此，在這些模型能夠大規(guī)模部署之前，還需要進(jìn)行更多研究。