王亞鋒：仿真賦能、數(shù)據(jù)驅(qū)動(dòng)，助力智能網(wǎng)聯(lián)商用車安全落地

2023年3月28日-29日，首屆中國商用車論壇在湖北十堰舉辦。本屆論壇由中國汽車工業(yè)協(xié)會(huì)、湖北省經(jīng)信廳、東風(fēng)公司和十堰市人民政府共同主辦，以“應(yīng)變 求變 謀變——共創(chuàng)商用車發(fā)展新局面”為主題，共設(shè)“1場閉門峰會(huì)+1個(gè)大會(huì)論壇+4個(gè)主題論壇”，旨在聯(lián)合能源、交通、信息等各方力量，共同探討商用車產(chǎn)業(yè)發(fā)展趨勢，推動(dòng)商用車高質(zhì)量發(fā)展。其中，在3月29日舉辦的“商用車智能網(wǎng)聯(lián)應(yīng)用”主題論壇上，蘇州智行眾維智能科技有限公司CMO王亞鋒發(fā)表精彩演講。以下內(nèi)容為現(xiàn)場發(fā)言實(shí)錄：

大家好！我是來自蘇州智行眾維智能科技有限公司的王亞鋒，下午從協(xié)會(huì)王耀博士，到朱教授，再到東風(fēng)主機(jī)廠，一汽解放，大家可能都聽到了關(guān)于自動(dòng)駕駛落地的場景，另外中汽中心標(biāo)準(zhǔn)所，中國汽研檢測中心，襄陽達(dá)安檢測中心的專家同時(shí)都提到高級(jí)別自動(dòng)駕駛準(zhǔn)入里面一個(gè)很重要的技術(shù)驗(yàn)證體系——三支柱法，包括：虛擬仿真測試，整車測試，道路測試。我們面向行業(yè)的痛點(diǎn)，結(jié)合行業(yè)的需求，通過數(shù)據(jù)驅(qū)動(dòng)，加快產(chǎn)品的迭代，通過仿真賦能，能夠使我們的產(chǎn)品更快落地，助力商用車產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。

接下來通過PPT展示的幾個(gè)章節(jié)，希望能給大家?guī)硪恍﹩l(fā)或找到一些思考點(diǎn)。首先介紹的是自動(dòng)駕駛仿真測試所需要的整個(gè)工具鏈，對(duì)于自動(dòng)駕駛開發(fā)，像東風(fēng)的李洋博士提到的，需要落地場景，無論是無人港口、無人礦卡，還是干線物流，當(dāng)我們?cè)谧霎a(chǎn)品開發(fā)的時(shí)候，這些場景將幫助我們實(shí)現(xiàn)仿真測試驗(yàn)證。為了功能安全以及預(yù)期功能安全，我們需要積累海量商用車落地應(yīng)用的各種工作場景、危險(xiǎn)場景、以及極端場景，這里面就需要一個(gè)生產(chǎn)仿真測試場景并進(jìn)行仿真測試驗(yàn)證的完整工具鏈。無論是乘用車、商用車、無人礦卡等的研發(fā)驗(yàn)證，都離不開目前展示的這整個(gè)工具鏈。

在該工具鏈的頂端，首先是數(shù)據(jù)采集，我們分為兩個(gè)方面來介紹。

一種是車端的數(shù)據(jù)采集，我們通過車端收集真實(shí)道路自然交通流的一些有效數(shù)據(jù)。第二種是路端數(shù)據(jù)采集。隨著現(xiàn)在中國C-V2X的發(fā)展，大家知道在智能網(wǎng)聯(lián)先導(dǎo)示范區(qū)，例如蘇州、武漢，重慶、上海、北京亦莊等地，有很多V2X的路側(cè)設(shè)備。我們通過路側(cè)采集設(shè)備，能夠獲取實(shí)時(shí)的交通流，把這些真實(shí)數(shù)據(jù)流可以用于仿真場景重構(gòu)或者算法的訓(xùn)練。總之我們通過數(shù)據(jù)采集，無論是來自車端的，還是路端的，這些數(shù)據(jù)可以服務(wù)于自動(dòng)駕駛算法，去做感知訓(xùn)練、算法測試、迭代。我們通過采集車和路側(cè)設(shè)備采集真實(shí)道路數(shù)據(jù)，希望能夠不僅僅只用于這個(gè)車型，可以用于轎車，也可以用于卡車等不同車輛，那采集到的數(shù)據(jù)，怎樣才能復(fù)用于其他車型呢？這里就需要我們把真實(shí)采集的數(shù)據(jù)生產(chǎn)成數(shù)字孿生仿真場景。換句話說，我們把自然駕駛場景數(shù)據(jù)在虛擬世界里還原?；谔摂M的仿真測試場景，在數(shù)字孿生世界里進(jìn)行轎車算法，卡車的算法，或者無人礦卡等不同車型的測試驗(yàn)證。

所以說自動(dòng)駕駛的商業(yè)落地需要場景，我們的方案稱之為“水木靈境”場景工場。有一位造車新勢力的副總裁提到，如果是L4的車，它需要的基礎(chǔ)訓(xùn)練場景是以百萬、千萬的片段作為基數(shù)，同時(shí)基于百萬、千萬的場景數(shù)據(jù)，再進(jìn)行場景的泛化，這個(gè)場景數(shù)據(jù)量可能是上億、幾十億的量級(jí)，這也是為什么大家前幾年聽到Waymo已經(jīng)做數(shù)百億英里的仿真訓(xùn)練，需要大量的仿真場景?？傊覀兺ㄟ^數(shù)據(jù)采集和仿真場景構(gòu)建，一方面訓(xùn)練感知算法，另一方面打造自動(dòng)駕駛算法測試驗(yàn)證所需要的場景，這些場景是服務(wù)于SIL、MIL、HIL、VIL等仿真測試的基礎(chǔ)。

通過仿真場景，我們?cè)倩氐街虚g所示的X-in-Loop®技術(shù)閉環(huán)體系。整個(gè)IAEX-in-Loop®技術(shù)體系，可以用于支撐前面幾位主機(jī)廠演講嘉賓所提到的V字開發(fā)流程，V流程源自汽車傳統(tǒng)性能開發(fā)流程，對(duì)于自動(dòng)駕駛系統(tǒng)的開發(fā)，也是基于這樣的V流程。V流程實(shí)現(xiàn)開發(fā)過程的技術(shù)閉環(huán)和數(shù)據(jù)閉環(huán)，從仿真測試到道路測試，包括封閉道路試驗(yàn)場以及開放道路測試，組成了現(xiàn)在工信部等國家主管部門提出的“三支柱法”：虛擬仿真，整車仿真測試，道路測試，來保證自動(dòng)駕駛算法的安全性、可靠性，安全冗余，保障智能網(wǎng)聯(lián)車輛安全運(yùn)行。

接下來我們展開一下，什么是X-in-Loop®技術(shù)體系，這個(gè)X就是我們的被測對(duì)象，對(duì)自動(dòng)駕駛算法，我們從在前期概念階段所謂基于模型階段的MIL，或者說做軟件代碼層級(jí)的SIL，同時(shí)在概念設(shè)計(jì)階段，可以進(jìn)行智能座艙開發(fā)，智能座艙可以基于駕駛員在環(huán)DIL進(jìn)行測試驗(yàn)證。通過左側(cè)的虛擬仿真的驗(yàn)證，再到右側(cè)的半實(shí)物、整車級(jí)驗(yàn)證、道路測試驗(yàn)證，完成整個(gè)V流程開發(fā)。對(duì)智能駕駛車輛來說，可能要應(yīng)對(duì)無窮盡的不同場景，商用車的場景也千變?nèi)f化。

怎么能夠讓算法在SIL階段滿足這樣海量測試場景的驗(yàn)證呢？答案是基于云計(jì)算能力的海量場景仿真?；谒接性苹蚬性?，在云端布署成百上千、上萬的計(jì)算節(jié)點(diǎn)，算法可以同步實(shí)現(xiàn)幾百上千個(gè)節(jié)點(diǎn)并發(fā)，可以想象下，同時(shí)有1000臺(tái)虛擬車同步運(yùn)行不同的測試場景，或者說1個(gè)算法同時(shí)跑1000個(gè)不同場景，都可以在云端實(shí)現(xiàn)自動(dòng)化部署，這樣會(huì)大大加速自動(dòng)駕駛算法的仿真測試?，F(xiàn)在在蘇州高鐵新城我們已經(jīng)建設(shè)了400多個(gè)仿真節(jié)點(diǎn)，可以實(shí)現(xiàn)日行百萬公里以上的虛擬仿真測試。

X-in-Loop®的技術(shù)體系是以數(shù)據(jù)為驅(qū)動(dòng)的，我們需要海量的仿真測試場景作為數(shù)據(jù)基礎(chǔ)。對(duì)于IAE“水木靈境”場景工場（智能駕駛仿真場景數(shù)據(jù)庫）來說，這一頁給大家展示的就是典型場景元素，一個(gè)場景里有靜態(tài)的元素，例如道路的基礎(chǔ)設(shè)施，包括路牌、車道線等這些，還有動(dòng)態(tài)場景,例如交通參與者等，這些元素組成各種邏輯關(guān)系，會(huì)形成一個(gè)非常復(fù)雜的交通場景，例如深夜、暴雨天，路面結(jié)冰，再結(jié)合沒有遵守交通規(guī)則的機(jī)動(dòng)車輛、行人，這些場景對(duì)于自動(dòng)駕駛來說都是極限危險(xiǎn)場景。

基于這樣的場景元素組成，目前我們?cè)?ldquo;水木靈境”場景工場中不斷為行業(yè)提供以下三大類場景，第一類是有跡可循，這個(gè)“跡”是基于高精地圖，無論是現(xiàn)在L3的車，還是L4的，大家很多都基于高精地圖定位。在仿真測試的時(shí)候，算法在測試的時(shí)候，所需要的場景也要需要和高精地圖匹配。目前場景工場中覆蓋了從北方長春的高速，到南方的?？诘膱鼍?，同時(shí)也包括蘇州、廣州、重慶、上海等城市的數(shù)字孿生場景。在我們公司所在地蘇州，我們把高鐵新城整個(gè)區(qū)域都進(jìn)行了數(shù)字孿生，以服務(wù)區(qū)域內(nèi)上下游產(chǎn)業(yè)鏈企業(yè)對(duì)場景仿真數(shù)據(jù)的極大需求。同時(shí)還包括自然駕駛場景，以及真實(shí)駕駛過程的交通事故場景，即CIDAS中國交通事故復(fù)現(xiàn)場景。第二類是有法可依，國內(nèi)外公布了一些法規(guī)，基于相關(guān)法規(guī)，如ENCAP、CNCAP、ISO這些法規(guī)去建立標(biāo)準(zhǔn)法規(guī)測試場景，來通過這些法規(guī)仿真測試，同時(shí)包括還有V2X的場景，中國交通規(guī)則場景等等。第三類是有需可取。我們剛才談到無人礦卡所需的場景，無人農(nóng)機(jī)場景等，可以幫助客戶實(shí)現(xiàn)定制，包括預(yù)期功能安全的大量場景。

下面展示部分典型仿真場景，例如3D斑馬線、出入口閘機(jī)、環(huán)島，法規(guī)場景，城市場景，CIDAS場景等。CIDAS相關(guān)場景，是把真實(shí)道路中發(fā)生的交通事故場景在仿真環(huán)境中重構(gòu)出來，包含了車速、軌跡等信息。假如說一個(gè)左轉(zhuǎn)車輛碰到了行人，是由于A柱盲區(qū)造成的，如果在仿真環(huán)境中車輛加上BSD功能，在這樣的場景下就可以驗(yàn)證BSD功能。

除了這些仿真場景之外，基于路側(cè)設(shè)備收集道路交通數(shù)據(jù)，每天每時(shí)每刻可以重構(gòu)不同的場景。大家現(xiàn)在看到的是中午時(shí)刻在蘇州高鐵新城一個(gè)交叉口的交通流場景。目前路側(cè)設(shè)備上基本都部署有激光雷達(dá)，或者是毫米波雷達(dá)，以及攝像頭，通過這些設(shè)備采集的數(shù)據(jù)可以建立上帝視角的路口交通流仿真場景，在后續(xù)仿真階段，該類仿真場景就會(huì)用到我們的算法驗(yàn)證上。

下面是與剛剛東風(fēng)商用車講到的商用車落地場景直接相關(guān)的仿真場景。大家可以看到，這一頁的場景和上一頁的場景不太相同。上一頁場景里是結(jié)構(gòu)化道路。而對(duì)于無人礦卡就是有一些路基，或者能看到一些指示牌等這些，所以在這種場景里面搭建非結(jié)構(gòu)化道路的場景，比如農(nóng)機(jī)、農(nóng)田里面的路面的起伏等特點(diǎn)。另外就是無人碼頭港口的場景，如果需要開發(fā)無人卡車用于集裝箱運(yùn)輸?shù)捻?xiàng)目，在項(xiàng)目早期就可以通過無人碼頭數(shù)字孿生仿真場景，進(jìn)行規(guī)控算法等的仿真測試，而不是直接到碼頭上去進(jìn)行場地測試，這樣可以極大縮短產(chǎn)品的迭代周期。

剛才談到的這些仿真測試場景，都是如何構(gòu)建的呢，這就需要一套工具鏈支撐。首先，在采集場景之前，對(duì)于一個(gè)場景數(shù)據(jù)采集車輛來說，需要進(jìn)行傳感器的標(biāo)定，無論采集車裝的是攝像頭還是激光雷達(dá)，最后生成的場景都是以傳感器的視角呈現(xiàn)進(jìn)行對(duì)比驗(yàn)證的。假如說采集時(shí)用的是激光雷達(dá)，他的安裝位置，對(duì)地的高度，安裝角等會(huì)有誤差，所以一般會(huì)對(duì)采集車傳感器做一個(gè)標(biāo)定，下面是我們做的一個(gè)卡車傳感器標(biāo)定系統(tǒng)的設(shè)計(jì)圖。

標(biāo)定以后，通過我們自研的采集設(shè)備iTTPlus采集激光雷達(dá)、毫米波雷達(dá)、攝像頭等相關(guān)信息，得到這些信息之后，需要對(duì)原始信息進(jìn)行各種預(yù)處理，生成目標(biāo)列表到仿真軟件中，以用于動(dòng)態(tài)、靜態(tài)的仿真場景構(gòu)建。這是目前我們自研的一套場景生產(chǎn)工具鏈，能夠?qū)鼍皵?shù)據(jù)進(jìn)行回放、切片，提取動(dòng)態(tài)的目標(biāo)列表等。高精度靜態(tài)場景加上動(dòng)態(tài)交通流就可以形成一個(gè)真實(shí)的、高精度的動(dòng)態(tài)數(shù)字孿生仿真場景。

下面是兩個(gè)實(shí)例，視頻右上角是前置攝像頭采集的真實(shí)視頻，下面是重構(gòu)的數(shù)字孿生仿真場景，可以達(dá)到場景真實(shí)還原。右邊的是自然駕駛環(huán)境中的cut-in場景重構(gòu)。

接下來再談一談仿真場景如何去應(yīng)用。第一個(gè)方面：基于“水木靈境”場景工場生成訓(xùn)練數(shù)據(jù)集，包括不同的天氣，不同時(shí)間段的數(shù)據(jù)，等等。數(shù)據(jù)采集的時(shí)候不可能是深夜、雨天，但是做感知算法訓(xùn)練的時(shí)候，需要極端天氣條件下的感知能力訓(xùn)練，這怎么辦呢？我們就通過對(duì)采集的原始數(shù)據(jù)進(jìn)行場景的衍生、泛化，改變里邊的天氣條件，交通流等要素，達(dá)到訓(xùn)練感知算法的目的，這相當(dāng)于是通過仿真場景提取一些圖片訓(xùn)練感知能力。對(duì)于圖片質(zhì)量要求很高的客戶，我們可以基于場景進(jìn)行unreal渲染，使得場景的顆粒度更細(xì)，逼真度更高。

針對(duì)商用車的LKA需求，是不是專門用LKA算法進(jìn)行車道線識(shí)別訓(xùn)練？我們就可以給出不同種類關(guān)于車道線的訓(xùn)練集，達(dá)到LKA算法對(duì)于不同車道線的精確識(shí)別。同時(shí)這里還有目標(biāo)檢測、路牌識(shí)別、交通信號(hào)燈檢測，語義分割數(shù)據(jù)集，可以提供數(shù)據(jù)集去訓(xùn)練相應(yīng)的感知算法。

接下來談?wù)劵诜抡鎴鼍昂蚗-in-Loop®技術(shù)體系怎么實(shí)現(xiàn)自動(dòng)駕駛算法開發(fā)流程中的連續(xù)仿真測試，就是基于“水木靈境”場景工場，可以實(shí)現(xiàn)軟件在環(huán)、硬件在環(huán)、整車在環(huán)等仿真測試。

下面是給大家舉個(gè)例子，這里首先看到的是在蘇州高鐵新城基于阿里云部署的，“水母”云算力海量仿真平臺(tái)的技術(shù)架構(gòu)，同時(shí)在這個(gè)云仿真平臺(tái)上建立了基于海量場景仿真的評(píng)測體系。 例如在這個(gè)云仿真平臺(tái)上跑100萬公里，幾十萬個(gè)場景，哪些場景PASS，哪些場景失效了，是非常巨大的工作量，但是在云仿真平臺(tái)根據(jù)我們?cè)O(shè)定的各種閾值和邊界條件，可以自動(dòng)篩選出在這100萬公里中有多少是失效場景（紅色標(biāo)注），有多少危險(xiǎn)場景（黃色標(biāo)注），針對(duì)危險(xiǎn)和失效場景單獨(dú)進(jìn)行算法迭代測試，同時(shí)我們可以提取這些極端場景、危險(xiǎn)場景、失效場景，用于后續(xù)HIL和高級(jí)整車在環(huán)等測試。

第二個(gè)是針對(duì)單機(jī)運(yùn)行算法的MIL/SIL仿真測試，左邊是一個(gè)感知+規(guī)控算法聯(lián)合仿真測試，右邊是一個(gè)L3級(jí)商用車規(guī)控算法在蘇州高鐵新城數(shù)字孿生場景里的SIL測試案例。我們結(jié)合ADAS和自動(dòng)駕駛算法開發(fā)了這些測試用例，例如下面表格列出ACC的規(guī)則，我們可以基于算法規(guī)則來設(shè)定這些場景以及參數(shù)條件。

通過海量場景仿真或單機(jī)運(yùn)行算法的MIL、HIL仿真以后，需要將軟件算法代碼植入到域控制器里面，對(duì)域控制器進(jìn)行硬件在環(huán)的測試，對(duì)于電子電氣部門的工程師而言，HIL這個(gè)已經(jīng)是非常成熟的技術(shù)手段，只是ADASHIL跟傳統(tǒng)的控制器HIL不一樣的是，需要上位機(jī)的場景仿真軟件，結(jié)合各種傳感器的模擬器，輸出傳感器信號(hào)給自動(dòng)駕駛域控制器，激活它的ADAS或AD功能，來驗(yàn)證智駕域控制器的功能邏輯、可靠性、安全性等。

進(jìn)行域控制器階段的驗(yàn)證以后，一定要進(jìn)入到整車系統(tǒng)級(jí)的驗(yàn)證階段，針對(duì)商用車車輛在環(huán)技術(shù)體系，包括PGVIL—基于封閉道路或試驗(yàn)場的場地車輛在環(huán)，VaHIL—高級(jí)整車在環(huán)，和VTHILS—車輛環(huán)境交通在環(huán)系統(tǒng)。在PGVIL整個(gè)系統(tǒng)里，包括真實(shí)的車輛，真實(shí)的域控制器，虛擬的傳感器的信號(hào)通過上位機(jī)注入域控制器，在一個(gè)真實(shí)的封閉道路或試驗(yàn)場進(jìn)行測試。在上位機(jī)場景仿真軟件里面車輛模型是怎么獲得實(shí)車的信息？可以在實(shí)車安裝iTT慣導(dǎo)及數(shù)據(jù)采集設(shè)備，它實(shí)時(shí)給上位機(jī)輸出車輛速度以及位姿等信息。PGVIL車輛場地在環(huán)測試，可以滿足實(shí)際邊界負(fù)載下，進(jìn)行整車功能安全、功能邏輯的測試驗(yàn)證，可以測試整車的系統(tǒng)響應(yīng)，同時(shí)可以進(jìn)行傳感器信號(hào)故障注入研究控制策略的安全冗余等。

那接下來基于整車測試邊界，怎么把感知系統(tǒng)驗(yàn)證也考慮進(jìn)來，尤其是在惡劣氣象條件下？感知就像車的眼睛，怎么驗(yàn)證呢？答案就是車輛環(huán)境交通在環(huán)試驗(yàn)室，在一個(gè)可控的室內(nèi)空間里，通過真實(shí)光照的模擬、真實(shí)雨霧環(huán)境的模擬、真實(shí)道路摩擦系數(shù)的模擬，真實(shí)的交通流，交通標(biāo)識(shí)等元素，C-V2X通訊模擬，營造一個(gè)可控并且可變的復(fù)雜環(huán)境條件，來驗(yàn)證單個(gè)感知系統(tǒng)、多傳感器融合結(jié)果，執(zhí)行機(jī)構(gòu)響應(yīng)，最后到實(shí)車的響應(yīng)，我們把這個(gè)實(shí)驗(yàn)室作為整車道路測試前的終極考核。

最后就是道路測試，首先是通過假人、假車，在一個(gè)封閉道路或試驗(yàn)場上去做測試，跟剛才講的PGVIL場地在環(huán)類似，在這個(gè)試驗(yàn)測試?yán)锩嬷皇前烟摂M注入的目標(biāo)變成了交通參與者的真實(shí)模擬道具。另外就是開放道路測試，在一些智能網(wǎng)聯(lián)示范區(qū)，進(jìn)行實(shí)際道路的單車和車路協(xié)同功能測試。

通過虛擬仿真、整車仿真測試、道路測試，構(gòu)建整個(gè)智能網(wǎng)聯(lián)商用車X-in-Loop®閉環(huán)技術(shù)開發(fā)體系，涵蓋了準(zhǔn)入的三支柱法測試驗(yàn)證體系。從海量場景仿真到極限場景驗(yàn)證，進(jìn)行功能安全和預(yù)期功能安全測試驗(yàn)證，通過數(shù)據(jù)驅(qū)動(dòng)，仿真賦能，進(jìn)行快速迭代，縮短產(chǎn)品開發(fā)周期，加速產(chǎn)品商業(yè)落地。

謝謝大家。