從系統(tǒng)工程的角度看，分段端到端和完全端到端，要求也有明顯的區(qū)別，分段端到端，還是保留了至少三個(gè)模塊，依舊可以新瓶裝舊酒，畢竟感知早已是模型，面臨的只是決策規(guī)劃，做好系統(tǒng)工程跟閉環(huán)模型的融合，可能，有60%的經(jīng)驗(yàn)和技方法論可以復(fù)用，但是到了完全端到端，系統(tǒng)跟數(shù)據(jù)閉環(huán)形影不離了。

從系統(tǒng)架構(gòu)工程師的角度，大部分還沒全棧打通，還沒能形成成熟的閉環(huán)體系（畢竟也是一直在迭代，adas、高精、無圖猝不及防），甚至只熟悉其中一部分，就要轉(zhuǎn)型到模型base的閉環(huán)分析，know還沒搞清楚，一年后又要到數(shù)據(jù)閉環(huán)的思維。

目前的現(xiàn)狀是，從發(fā)展趨勢(shì)看，感知的系統(tǒng)架構(gòu)師是最容易轉(zhuǎn)型的，甚至都不需要轉(zhuǎn)型，技術(shù)棧都差不多，但是感知背景的工程師普遍不熟悉規(guī)控，前面文章也講了，感知和規(guī)控最大的區(qū)別就是開環(huán)和閉環(huán)，有著本質(zhì)的區(qū)別，而且還得懂交付，規(guī)控的同學(xué)頭疼地方在于模型的know how不夠?？偟膩碚f，未來對(duì)全棧的知識(shí)廣度的要求越來越強(qiáng)烈，不僅僅是技術(shù)，還有交付，數(shù)據(jù)等。目前分段端到端的階段對(duì)想做轉(zhuǎn)型的系統(tǒng)架構(gòu)同學(xué)都是一個(gè)很好的過渡，都有自己的優(yōu)勢(shì)，不至于無所適從，行業(yè)發(fā)展很快，轉(zhuǎn)型也是刻不容緩。因?yàn)楹罄m(xù)可能真的不需要這么開發(fā)人員了。

本文就從分段端到端的系統(tǒng)架構(gòu)角度，作進(jìn)一步深入的思考，自己也沒有實(shí)際項(xiàng)目經(jīng)驗(yàn)，一些思考僅供參考和交流。

#01

網(wǎng)絡(luò)模型特性的一些思考

#02

系統(tǒng)架構(gòu)方案設(shè)計(jì)

2.1、系統(tǒng)架構(gòu)

對(duì)于大部分公司來說，分段端到端是必然的選擇，目前行業(yè)內(nèi)頭部也是分段端到端的方案，Keep it simple but not too simple，系統(tǒng)架構(gòu)師要從如下幾個(gè)維度評(píng)估，畢竟公司是要盈利不是科研部門：

• 是否具備條件：端到端要有很強(qiáng)的數(shù)據(jù)算力等基礎(chǔ)設(shè)施基礎(chǔ)，如如何進(jìn)行端到端閉環(huán)仿真。

• 量產(chǎn)性價(jià)比：可以復(fù)用和重構(gòu)現(xiàn)有的感知已有經(jīng)驗(yàn)，重點(diǎn)補(bǔ)齊規(guī)控。

• 核心技術(shù)問題：本質(zhì)上來說是模型從開始到閉環(huán)，重點(diǎn)還是模型規(guī)控能力提升。

• enough：足夠信息的無損傳遞和誤差累計(jì)，分段端到端可以有明顯提升，尤其是如何理解無損。

2.2、方案詳解

1. 感知&預(yù)測(cè)統(tǒng)一大模型或者繼承已有模型，輸出依舊是障礙物，地圖、紅綠燈，occ等，決策規(guī)劃替換為模型，直接輸出軌跡，軌跡做后處理之后，接成熟的控制模塊。已有的故障診斷框架，功能狀態(tài)機(jī)和產(chǎn)品輸入不變，做適配，方案的變更對(duì)用戶是無感，或者提升體驗(yàn)的。

2. 方案工程量產(chǎn)分析

• 感知在成熟方案上統(tǒng)一模型：數(shù)據(jù)、訓(xùn)練、評(píng)測(cè)等大部分都是可復(fù)用的，性能也是經(jīng)過驗(yàn)證的，可以并行快速迭代，感知新feature的要求是個(gè)元素之間的時(shí)空關(guān)聯(lián)關(guān)系的準(zhǔn)確性，比如彎道性能經(jīng)常障礙物和車道線關(guān)系錯(cuò)配，給下游規(guī)控帶來很大挑戰(zhàn)，統(tǒng)一模型并不一定就是一個(gè)模型能達(dá)到現(xiàn)階段對(duì)關(guān)聯(lián)信息的有效傳遞即可。

• 4D的自動(dòng)化標(biāo)注(如有），可以進(jìn)一步提高模型輸出的準(zhǔn)確性，減少后處理的壓力。

• 弱化后處理，后處理是跟規(guī)控耦合比較重的，依舊有上下游的配合，但是規(guī)控邏輯變了，理論上來說，規(guī)控應(yīng)該對(duì)上游噪聲和信號(hào)處理有更強(qiáng)的能力。

• 規(guī)控只進(jìn)行算法的替換，保留功能狀態(tài)邏輯，也是為什么選用分段的原因，規(guī)控有很多的功能交互邏輯，涉及到車道線等感知輸入、用戶和故障聚類后處理，不一定難，但是需要大量的時(shí)間積累，打磨和完善的，如果直接token，這些邏輯如何設(shè)置和驗(yàn)證代價(jià)其實(shí)不小，最好的方式就是先優(yōu)先解決關(guān)鍵問題，逐步過渡。

• 規(guī)劃的輸出是決策后的軌跡簇還是單條軌跡。

主要考慮是訓(xùn)練數(shù)據(jù)來自不同的駕駛風(fēng)格，按理說應(yīng)該是多條輸出，然后再進(jìn)行選擇輸出，可以進(jìn)行風(fēng)格設(shè)置，是否有這個(gè)必要，需要結(jié)合實(shí)際情況，我的判斷都可以實(shí)現(xiàn)，列出以供參考，不表。

3. 輸入輸出接口

4. Q&A

為何感知和規(guī)控之間不選擇token連接

• token連接，當(dāng)然可以同步有人的可視化同步輸出，會(huì)破壞已有的閉環(huán)仿真基礎(chǔ)設(shè)施鏈路，代價(jià)比較大，當(dāng)然大家會(huì)問，信息依舊是有損傳輸；

• 規(guī)控人機(jī)交互和功能定義都是依賴感知等輸入進(jìn)行判斷的，這部分是跟用戶打交道的，是需要人可以理解的信息的，而且這部分是最接近用戶體驗(yàn)的，也是需要時(shí)間和里程打磨的，從性能提升，開發(fā)工作量和測(cè)試?yán)锍毯蜁r(shí)間驗(yàn)證看，保持原有信息在如此快的迭代周期下，優(yōu)先突破關(guān)鍵技術(shù)是最優(yōu)的；

• 從我的評(píng)估看，無損的傳遞，能夠把自車和障礙物的關(guān)聯(lián)關(guān)系，他車障礙物（交通流）的關(guān)聯(lián)關(guān)系，障礙物和地圖的關(guān)聯(lián)關(guān)系，以及歷史經(jīng)驗(yàn)和未來預(yù)測(cè)的時(shí)空關(guān)聯(lián)關(guān)系，按照已有的六自由度位姿信息無損傳遞，有效利用起來，就已經(jīng)有質(zhì)的性能提升，這些也是規(guī)則望塵莫及的；

• 為何要障礙物，預(yù)計(jì)以及地圖一張圖就是想保留如何如上的關(guān)聯(lián)關(guān)系，至于這些信息引入的噪聲如何處理，確實(shí)也是需要下游對(duì)cross attend（后續(xù)我都用交叉驗(yàn)證描述，更能表達(dá)我的意思）設(shè)計(jì)的挑戰(zhàn)；

• 為何預(yù)測(cè)放在感知，而不是跟決策規(guī)劃融合在一起，預(yù)測(cè)本身可以從感知得到更多無損信息，進(jìn)行訓(xùn)練，如果是token的傳遞，放上下游其實(shí)都OK，本身有4D自動(dòng)化標(biāo)注的話，放在感知輸出的效果會(huì)更好。比如，時(shí)空關(guān)聯(lián)信息，預(yù)測(cè)也能利用道，對(duì)于一些現(xiàn)在棘手的鄰車道誤入侵等，再比如高速上三車道大車不允許去快車道，預(yù)測(cè)信息也會(huì)學(xué)習(xí)(猜的，大家意會(huì)我的意思即可)。

2.3、規(guī)控的訓(xùn)練跟感知不同

1. 最本質(zhì)的區(qū)別：開環(huán)與閉環(huán)

如圖，定位、感知作為閉環(huán)系統(tǒng)的傳感器，只需要保證準(zhǔn)確、實(shí)時(shí)性，可以影響閉環(huán)穩(wěn)定性，但是自身不受閉環(huán)系統(tǒng)的影響，不會(huì)因?yàn)殚]環(huán)不穩(wěn)定了，測(cè)量偏差就大了（當(dāng)然會(huì)有一些，不是主要因素，這里不表），因而可以單獨(dú)進(jìn)行優(yōu)化和評(píng)測(cè)，只要定義好性能指標(biāo)，基本上問題不大。

閉環(huán)系統(tǒng)則不然，就是圖中決策規(guī)劃控制，任何模塊都會(huì)對(duì)其產(chǎn)生影響，規(guī)控穩(wěn)定也對(duì)其有指標(biāo)要求，而且還得考慮干擾的影響，基于規(guī)則和優(yōu)化的方法可以通過對(duì)算法內(nèi)部&外部增加干擾，仿真和分析其魯棒性和抗干擾能力?；谀Ｐ蜔o法通過內(nèi)部增加擾動(dòng)和干擾的方式分析出來邊界，只能通過驗(yàn)證的方式。

舉個(gè)例子拿車道穩(wěn)定來說，感知輸出滿足性能滿足，那就滿足要求，但是規(guī)控不一樣，規(guī)控要在感知有些干擾下要穩(wěn)定，定位有噪聲也要穩(wěn)定，車輛不同角度激活要穩(wěn)定，eps存在零偏要穩(wěn)定，存在路面濕滑，橫風(fēng)也要穩(wěn)定，綜合如上所有的因素疊加，也要穩(wěn)定。

2. 訓(xùn)練&驗(yàn)證的確定&多模態(tài)

• 如感知穩(wěn)定檢測(cè)前車，不管加速，減速都OK，規(guī)控是不一樣的，前車減速，可以變道，變道超車，也可以減速，同樣一個(gè)場(chǎng)景，有人選在變道加速，勻速變道，輕剎車跟車，同樣一個(gè)場(chǎng)景會(huì)有多種選擇選都可以，如何訓(xùn)練？數(shù)據(jù)風(fēng)格如何保持？

• 跟感知不同，感知只需要檢測(cè)跟蹤已確定的東西，規(guī)控是一系列的可能得未來的行為，行為存在多模態(tài)特性和不確定性以及時(shí)空關(guān)系，，如規(guī)控策略文章MARC，就是考慮概率、不確定性、多模態(tài)交互下預(yù)測(cè)&決策&規(guī)劃的閉環(huán)優(yōu)化，大疆的成行方案的基礎(chǔ)，大疆的出色表現(xiàn)，也能感受到這些特性處理對(duì)性能提升的潛力，但是畢竟優(yōu)化規(guī)則天花板是有限的，所以最后輸出最好是決策后的一簇曲線，可以進(jìn)一步進(jìn)行平滑性和風(fēng)格處理更合理一些。

#03

模型訓(xùn)練

3.1、核心是數(shù)據(jù)

從下圖看，整理完這張圖根本就放不下，如何合理的建立場(chǎng)景樹，覆蓋足夠的場(chǎng)景，另外一個(gè)就是數(shù)據(jù)如何采集，篩選，goodcase，badcase，corner都要有的，這個(gè)就不細(xì)表了，大部分有能力做的的公司都有基礎(chǔ)建設(shè)的。

• 這里重點(diǎn)提一下魯棒性、故障的場(chǎng)景，主要原因是基于規(guī)則可以通過理論配合試車測(cè)試進(jìn)行評(píng)估，沒有數(shù)據(jù)也可以開發(fā)中考慮到，但是規(guī)控的模型，則不然。

3.2、閉環(huán)穩(wěn)定性如何保證，是否符合預(yù)期

1. 規(guī)控如何讀懂障礙物&map&時(shí)空關(guān)系，并能夠利用其進(jìn)行交叉驗(yàn)證，從各種噪聲信號(hào)中不失真的獲取有用信息。其實(shí)就一件事情，如何選擇數(shù)據(jù)，沒有了規(guī)則邏輯的設(shè)計(jì)，轉(zhuǎn)為從訓(xùn)練數(shù)據(jù)，驗(yàn)證數(shù)據(jù)集入手，也是一個(gè)龐大系統(tǒng)，只能如圖舉例示意。

2. 根據(jù)場(chǎng)景不如巡航，擁堵，變道，路口等，能夠重點(diǎn)關(guān)注部分區(qū)域，如圖，弱化對(duì)自身影響不大的區(qū)域，提高規(guī)控的魯棒性的同時(shí)，也降低了感知的性能要求。

3. 決策規(guī)劃輸出性能要求

開環(huán)仿真模擬輸出的軌跡，都是很完美的估計(jì)，因?yàn)槭菍?shí)時(shí)更新的，能保證本幀的合理性，下一個(gè)周期，訓(xùn)練數(shù)據(jù)會(huì)重置，相互之間是沒有關(guān)聯(lián)的，但是控制執(zhí)行是有時(shí)空因果關(guān)系的，歷史狀態(tài)會(huì)對(duì)后續(xù)執(zhí)行有明顯的影響，反過來也會(huì)影響到軌跡，形成閉環(huán)。舉個(gè)例子就是橫魯棒性不夠的橫向跟蹤軌跡剛開始穩(wěn)定，但是你稍微拉動(dòng)方向盤再放手，有可能就開始逐漸畫龍，控制跟蹤越來越離譜，軌跡也開始受車身姿態(tài)影響變得扭曲。

a. 輸出什么，如何輸出：訓(xùn)練利用未來的行駛軌跡作為真值

• 輸出單根軌跡：后處理相對(duì)容易實(shí)現(xiàn)，已有成熟方案，通過MPC對(duì)軌跡進(jìn)行二次處理，再下發(fā)閉環(huán)控制；

• 多簇：優(yōu)勢(shì)在于可以通過后處理，調(diào)整駕駛風(fēng)格，或者說二次濾除和選擇不同駕駛風(fēng)格的訓(xùn)練數(shù)據(jù)帶來的不確定性，拿變道來說，每個(gè)人的變道軌跡肯定是不一樣的。

b. 輸出軌跡跟控制配合的穩(wěn)定如圖

• 軌跡數(shù)據(jù)已經(jīng)是經(jīng)過車身動(dòng)力學(xué)過濾的，除了傳感器噪聲，都是物理可實(shí)現(xiàn)，白噪聲對(duì)控制來說完全可以cover；

• 軌跡的輸出長(zhǎng)度，元素，連續(xù)性，如何匹配，圖中其實(shí)都可以思考到。

c. 軌跡的魯棒性如何驗(yàn)證

• 訓(xùn)練數(shù)據(jù)都是穩(wěn)定的，都是篩選的數(shù)據(jù)，但是有時(shí)候控制是不穩(wěn)定的，會(huì)引起畫龍，這時(shí)候系統(tǒng)表現(xiàn)如何，是必須要驗(yàn)證，是否有發(fā)散的風(fēng)險(xiǎn)，軌跡是否能收斂而不是加劇畫龍。

3.3、功能閉環(huán)邏輯驗(yàn)證

1. 功能邏輯驗(yàn)證

• 功能激活和退出，狀態(tài)機(jī)和算法的配合，尤其是激活，是否需要軌跡replan？

• 功能升降級(jí)條件需要重新調(diào)試和匹配，尤其是接管邏輯；

• 變道軌跡的連續(xù)性，變道的功能邏輯，是否要在功能邏輯側(cè)增加兜底的ttc等基于邏輯的安全校驗(yàn)和約束？

• 規(guī)控的閉環(huán)仿真驗(yàn)證，復(fù)用規(guī)則的驗(yàn)證方式，不過需要增加高保真動(dòng)力學(xué)，以及模擬控制性能下降等場(chǎng)景，基于規(guī)則的方法，規(guī)控輸出的軌跡本身就是符合控制系統(tǒng)輸入要求的，理論設(shè)計(jì)可以保證存在不確定性時(shí)依舊在設(shè)定odd滿足，但是基于模型則需要驗(yàn)證其魯棒性。

2. 功能的魯棒性驗(yàn)證

• 感知頻率不穩(wěn)定，遮擋，規(guī)控頻率不穩(wěn)定，對(duì)閉環(huán)穩(wěn)定性的影響；

• 控制畫龍或者跟蹤誤差大，規(guī)劃是否能逐步穩(wěn)定軌跡，不能加劇畫龍；

• 定位底盤信號(hào)噪聲和穩(wěn)定性對(duì)感知和規(guī)控的影響；

• 車身姿態(tài)影響，比如人工接入拉偏后松手，是否能平穩(wěn)的返回居中行駛；

• 功能邏輯驗(yàn)證，比如邊上有車，離得比較近，撥桿變道，這些場(chǎng)景是否包含在訓(xùn)練集，或者需要包含，也是需要逐步驗(yàn)證，收斂的；

• 性能邊界和一致性，由于模型的不可解釋性，我們并不清楚是否能保證對(duì)同一場(chǎng)景的一致性表現(xiàn)，如果差異較大，對(duì)我們性能的驗(yàn)證就會(huì)帶來很大的挑戰(zhàn)； 120對(duì)0 的重復(fù)測(cè)試，極限cutin等性能驗(yàn)收都要做的測(cè)試，需要多次針對(duì)性驗(yàn)證。

3. 故障診斷和升降級(jí)

#04

工程化

1、在線標(biāo)定等相關(guān)成熟模塊復(fù)用，盡可能減少閉環(huán)模型的不確定性，減少驗(yàn)證的成本

2、模型的功能安全和規(guī)則的安全校驗(yàn)是必須要的

3、其他

#05

一些思考

1、進(jìn)一步深入系統(tǒng)性分析的難度比預(yù)想的大，沒有項(xiàng)目支撐下，想做好全局的更細(xì)顆粒度的思考，比預(yù)想的難，進(jìn)一步拆解下，會(huì)發(fā)散的越來越多，也需要跟算法專業(yè)同學(xué)反饋迭代，時(shí)間精力有限，只能把注意事項(xiàng)和思維方式點(diǎn)到為止，希望對(duì)大家有幫助。

2、SOTIF和8800 對(duì)大家?guī)椭鷷?huì)很大，但是推動(dòng)起來阻力更大。

3、算力和數(shù)據(jù)允許的條件下，可以增加一個(gè)小model，進(jìn)行潛在危險(xiǎn)情況的判斷，做一層冗余，這樣，可以進(jìn)一步釋放主模型的潛力。

4、場(chǎng)景理解也是一個(gè)很大的提升亮點(diǎn)，場(chǎng)景可以理解為劃分了很多odd，在特定的odd場(chǎng)景進(jìn)行特定訓(xùn)練。

5、完全端到端，完全token鏈接或者uniad，對(duì)仿真，調(diào)試，驗(yàn)證，要系統(tǒng)性梳理，不是幾周惡補(bǔ)可以梳理出來的，也是需要有危機(jī)感的同學(xué)提前思考的事宜。

6、下一階段，面向L3/4的系統(tǒng)架構(gòu)要求安全，冗余容錯(cuò)，對(duì)技術(shù)廣度又會(huì)增加一層。

最后送大家一句：雄關(guān)莫道真如鐵，而今邁步從頭越，從頭越，殘陽如血，喇叭聲咽！

#06

附 錄

1、為何到軌跡而不是steer

• 有興趣的可以了解一下航天閉環(huán)系統(tǒng)的時(shí)標(biāo)分離原則，換句話說不同環(huán)路之間的帶寬2-3倍，才能保證系統(tǒng)穩(wěn)定性，而運(yùn)行頻率遵循香濃定理，至少是傳感器采樣頻率的2倍以上，不然容易引起自激振蕩。直接上結(jié)論吧，按照控制系統(tǒng)帶寬的要求，運(yùn)行頻率至少＞40-50hz。采用MPC等預(yù)測(cè)控制算法可以用到未來的信息，提高相位裕度，可以進(jìn)一步減少對(duì)執(zhí)行器的要求，可以進(jìn)一步降低對(duì)執(zhí)行頻率的要求，用到端到端，至少也得24-30hz，取決于動(dòng)態(tài)避障的能力邊界。也就意味著，感知規(guī)控的更新也要到這個(gè)頻率，這是目前大部分的國(guó)內(nèi)算力達(dá)不到的。

• 第二個(gè)原因就是控制執(zhí)行，是最終的執(zhí)行，但不具備唯一性，人在打方向盤的時(shí)候是明確知道自己怎么走的，其實(shí)就是現(xiàn)在的軌跡，從軌跡的層面更容易進(jìn)行分析，代價(jià)就是要處理好軌跡和控制的穩(wěn)定性閉環(huán)。