清華大學車輛與運載學院副研究員王紅：預期功能安全量化評價指標初探

2020年12月3日，由中國汽車工程研究院主辦的第五屆i-VISTA智能網聯汽車國際研討會隆重舉行。在中國智能網聯汽車產業創新聯盟CAICV-SOTIF工作組會議上，清華大學車輛與交通學院副研究員、智能出行研究所副所長王鴻發表了“預期功能安全量化評價指標的初步研究”主題演講

清華大學車輛與交通學院副研究員、智能出行研究所副所長王鴻。

以下為演講實錄:

非常感謝陳老師對預期功能安全性的量化評價指標做了這么詳細的報告，研究非常深入。那么我的報告會從更宏觀的層面給大家介紹一個預期功能安全性的量化評價指標的初步設想，讓大家對該領域有一個充分的了解，然后再看是否實用。所以這個目錄看起來內容很多，其實內容并不是特別多，一共23頁。第一個是預期功能安全的問題及其關鍵難點，所以這里是預期功能安全定義的一個過期號。預期功能安全的主要關注點是功能不足、性能有限或可合理預見的人員互操作性造成的危害。

為什么要加這些內容？因為我發現今天在場的專家并不是都對預期有詳細的了解，所以我特意把這部分拿出來和大家一起回顧一下。

那么這里的道路環境包括隨機場景變化、非常規交通參與和交通環境干擾。

此外，自動駕駛系統的局限性還包括系統的功能局限性，AR算法的局限性，司機和乘客的合理雇傭，包括事件的偏差，駕駛的疲勞，人員的雇傭。那么這里有一個剛才陳老師提到的典型案例。大家都喜歡拿出來說，開發這款車，把玉溪木板前的白色貨車車廂鑒定為一種白云，導致了這樣的事故。這是預期功能安全的典型案例。

那么根據asare 21448我們可以看到，預期功能安全最難的部分其實是產品部分Arnold C的安全區域。

此外，在研究過程中，我們將預期功能安全分為感知層、決策層和控制層三個層次，對預期工作安全進行研究、感知和控制，這也是我們后面提出的預期功能安全評價體系的參考。那么目前預期工作安全的問題包括感知不足，主要來自感知層面，包括漏檢和誤檢，以及測量的不準確，主要是場景的隨機變換和人工智能算法的不確定性造成的。

然后第三就是驗證不全面，測試里程長。那么下面就是預期功能安全量化評價體系的總體思路，這是我和大家討論的重點。給大家講一個我們這樣總結出來的心路歷程。因為很多問題是在公共安全發展之后才發現的，有了預期的功能和智能算法的應用，并不能涵蓋所有關于預自動駕駛的安全問題，所以出現了預期的功能安全問題，也就是q21448的出現。

但是，在現有的數據中，正如我在前面的介紹中所說的，預期工作安全的評價體系來自于硬件系統的功能安全評價體系，比如今天上午恐怖stpasmea認可的預期功能安全分析評價方法。

在我預期的功能安全研究開始時，也就是去年7月，當我剛剛開始研究時，我還和張雨晴談過。我當時特別反對功能安全的SS評價方法，因為我覺得是功能安全失效導致的這樣一種分析方法，而且其中涉及的EMC比較分散，感覺不適合我們預期的功能安全評價。然而，當我進一步了解它之后，我發現我們不能完成……ely摒棄功能安全評價的思路，但要在此基礎上談，更適合預期功能安全的一種評價思路。

那么，在了解預期功能安全的量化評價體系的過程中，我們會發現，由于它伴隨著人工智能算法的不確定性，我們也借鑒計算機部門的做法，考察了他們對人工智能算法不確定性的評價，因為不確定性是我們目前預期功能安全的問題。

那么我們必須在這里進行跨學科、跨領域的交流，以克服我們預期的功能安全。因此，從感知、決策乃至預測的角度，我們對預期功能安全不確定性的評價方法進行了更深入的研究。

比如在環境傳遞算法和不確定性評估中，我們主要找了牛津大學一個非常年輕的教授，叫延安蓋奧。他們提出了一個類似于b Bs推廣的語義切分方法，在里面使用MC job out，就是用這個方法或者公司訓練的兩個典型方法，提出了預測器和互信息。這個思路比較符合我們之前的商的概念，所以我沒有跟蹤的是1011團隊的所有研究。他們先研究了人工智能算法的不確定性，然后才有機會把這些不確定性的方法放到我們的車輛領域。

這也回答了剛才重慶大學王珂老師的一個問題，就是如何評價預期工作安全中涉及的算法不確定性。我覺得這是很有參考價值的參考資料，可以參考和學習。

另外，在決策算法的不確定性分析中，我們發現MIT和cmd做了大量的工作，即決策算法的前端是預測算法，所以我們通過預測算法來預測周圍環境、人和車輛的軌跡。如果他的預測不夠準確，會直接影響我們決策的安全性。

所以這里主要是前面的研究，主要是針對預測算法，如何把他們對周圍車輛和閑散人員預測的不確定性引入到我們的決策模塊中，讓我們的決策有預測性，這樣一種具有不確定性敏感性的決策方法，然后他們提出，如果我對周圍環境預測的不確定性很高，應該采取一些降級或者應急處理的方法。所以在這里我覺得對于預期功能安全的研究也是有意義的，所以這樣一個預期功能安全量化評估體系的總體思路是基于參考函數的內容和計算機領域所有可能的參考意義得出的。

然后整體思路可以說是和你討論了。事實上，這就是我的團隊現在正在做的事情。

我們認為預期的功能安全評價體系包括三個層次。第一個層次是系統層次。我們不關心內部結構是什么，它的算法是不是不確定的，而是把它當成一個黑盒。我們來看看。體現在我們現有測試場景的輸入上，包括功能場景、邏輯場景、具體場景，另外一個就是建立一個我們預期的功能安全的產品庫，在這些場景的基礎上輸入。我們對整體性能做一個評價，就是系統級評價和系統級評價相結合。現在我們認為它必須包括三個層次，即暴露度、嚴重性和可控性。那么暴露高度必須結合產品分類進行評估。在估計小偷之前肯定不是離散的，不是1234那么簡單，而是通過我們，可以實時做出這樣的風險評估。

這里我們有個名字叫潛在安全作戰指數，就是我們的潛在碰撞風險系數，潛在安全，價格，指數。我們可以實時判斷它的風險，所以它是非常特殊的可控性。我們根據對碰撞及其可能沖突的概率的評估來定義我們的可控性。所以在系統級評測的層面，我們可以發現現在的存儲是和esc結合在一起的，但是S和C都不同于傳統的功能安全，已經通用化了。

然后第一層是系統層，第二層是建設層。這個組件就是把內部系統開成一朵百合，包括感知模塊、預測模塊、決策模塊和執行模塊。

那么其中一個……該模塊中感知模塊的輸出，也就是我們認為的面向結構的輸出，包括風險率特征率和定位誤差等。當然我們在這個模塊中涵蓋了定位，所以可以說是根據它的結構取向來評價它的性能，包括你的采樣率和弱堿性區域的定位精度等等。

此外，同樣的決策預測模塊、決策模塊、執行模塊等。，都是基于他們預測的結果，是結果導向的。

那么第三層要深入算法本身，研究它的不確定性，更適合我們公司的產品開發和高效的理論研究。比如在感知模塊中，數據是確定性的，算法是不確定性的，這就包括了我們相對認知和偶然的不確定性。然后，通過這些不確定性，我們可以得到一個組件級感知的評價指標。

所以這也是一個例子。這是對第三個層面的評價，在決策層面和預測層面其實是一樣的。預測層面是我們可以研究預測模型的不確定性。預測模型預測你是準確的，它形成的軌跡是預測出來的。它具有不確定性。

此外，還有一個決策模塊。目前我們團隊正在研究決策模型的科技屬性。我們希望通過可解釋的研究提出決策模塊的評價指標，以及實現模塊，所以這張圖闡述了我們對預期功能安全的量化評價體系的總體思路，包括系統級評價、esc組件級評價和組件級評價，包括面向結構。也就是說，根據它的輸出結果，另一部分是深入算法本身，研究它的內在不確定性，提出一個評價指標，這個指標是三個層次。

那么我剛才在這里說的系統級的評測指標，就是基于我們的場景使用頻率的統計。所以太古寫的是潛在的碰撞風險系數，潛在的金融領域市場。另外，可以說value是引入我們可控碰撞概率的預算。然后，通過我們整個EMC計算，得到系統級的預期功能安全評估體系。

然后第三塊是感知層的預期功能安全評價體系，所以這里面有兩塊，一個是結果導向，就是根據我的數字的結果，用什么樣的評價指標來評價我們的感知結果，包括我們的感知準確率、漏檢率、誤檢率等。這里也證明了前兩天某激光雷達廠商在與經過專門培訓的李繼明女博士交流時，也利用了他們算法性能的下降。

也就是說，我們對某個模塊的評價，不一定是一個非常復雜的算法，而是一個更實用、更能被接受的方法去評價它。

另外就是內因導向的評價方法。內因是評估我們算法的不確定性，這里是我們如何評估采用我們的Carroll態數的不確定性。

那么預測層的預期功能安全評價體系實際上是基于預測的不確定性，實際上是MC Weekly的不確定性分析的一種評價方法，一種基于貝葉斯推理的模型，然后得出我們預測模塊整個不確定性分析的一個評價指標。當然評價指標可能更適合高校的理論研究，所以不排除我們行業應用這個評價體系做預期安全。

所以決策層其實主要是研究決策的可解釋性和不確定性的一些評價指標。這里我們希望得到決策層的可解釋性及其不確定性的一些評價指標。這部分研究內容還在進行中，具體結果可能要到明年才能和大家討論，所以這里是一個評價體系的初步設想，供大家參考，也歡迎大家提出更多有價值的意見。

注:本文根據現場速記整理，未經主講人審核。僅供參考。請勿轉載！2020年12月3日，由中國汽車工程研究院主辦的第五屆i-VISTA智能網聯汽車國際研討會隆重舉行。在中國智能網聯汽車產業創新聯盟CAICV-SOTIF工作組會議上，清華大學車輛與交通學院副研究員、智能出行研究所副所長王鴻發表了“預期功能安全量化評價指標的初步研究”主題演講

清華大學車輛與交通學院副研究員、智能出行研究所副所長王鴻。

以下為演講實錄:

非常感謝陳老師對預期功能安全性的量化評價指標做了這么詳細的報告，研究非常深入。那么我的報告會從更宏觀的層面給大家介紹一個預期功能安全性的量化評價指標的初步設想，讓大家對該領域有一個充分的了解，然后再看是否實用。所以這個目錄看起來內容很多，其實內容并不是特別多，一共23頁。第一個是預期功能安全的問題及其關鍵難點，所以這里是預期功能安全定義的一個過期號。預期功能安全的主要關注點是功能不足、性能有限或可合理預見的人員互操作性造成的危害。

為什么要加這些內容？因為我發現今天在場的專家并不是都對預期有詳細的了解，所以我特意把這部分拿出來和大家一起回顧一下。

那么這里的道路環境包括隨機場景變化、非常規交通參與和交通環境干擾。

此外，自動駕駛系統的局限性還包括系統的功能局限性，AR算法的局限性，司機和乘客的合理雇傭，包括事件的偏差，駕駛的疲勞，人員的雇傭。那么這里有一個剛才陳老師提到的典型案例。大家都喜歡拿出來說，開發這款車，把玉溪木板前的白色貨車車廂鑒定為一種白云，導致了這樣的事故。這是預期功能安全的典型案例。

那么根據asare 21448我們可以看到，預期功能安全最難的部分其實是產品部分Arnold C的安全區域。

此外，在研究過程中，我們將預期功能安全分為感知層、決策層和控制層三個層次，對預期工作安全進行研究、感知和控制，這也是我們后面提出的預期功能安全評價體系的參考。那么目前預期工作安全的問題包括感知不足，主要來自感知層面，包括漏檢和誤檢，以及測量的不準確，主要是場景的隨機變換和人工智能算法的不確定性造成的。

然后第三就是驗證不全面，測試里程長。那么下面就是預期功能安全量化評價體系的總體思路，這是我和大家討論的重點。給大家講一個我們這樣總結出來的心路歷程。因為很多問題是在公共安全發展之后才發現的，有了預期的功能和智能算法的應用，并不能涵蓋所有關于預自動駕駛的安全問題，所以出現了預期的功能安全問題，也就是q21448的出現。

但是，在現有的數據中，正如我在前面的介紹中所說的，預期工作安全的評價體系來自于硬件系統的功能安全評價體系，比如今天上午恐怖stpasmea認可的預期功能安全分析評價方法。

在我預期的功能安全研究開始時，也就是去年7月，當我剛剛開始研究時，我還和張雨晴談過。我當時特別反對功能安全的SS評價方法，因為我覺得是功能安全失效導致的這樣一種分析方法，而且其中涉及的EMC比較分散，感覺不適合我們預期的功能安全評價。然而，當我進一步了解之后，我發現我們不能相提并論……摒棄功能安全評價的思路，但要在此基礎上談，更適合預期功能安全的一種評價思路。

那么，在了解預期功能安全的量化評價體系的過程中，我們會發現，由于它伴隨著人工智能算法的不確定性，我們也借鑒計算機部門的做法，考察了他們對人工智能算法不確定性的評價，因為不確定性是我們目前預期功能安全的問題。

那么我們必須在這里進行跨學科、跨領域的交流，以克服我們預期的功能安全。因此，從感知、決策乃至預測的角度，我們對預期功能安全不確定性的評價方法進行了更深入的研究。

比如在環境傳遞算法和不確定性評估中，我們主要找了牛津大學一個非常年輕的教授，叫延安蓋奧。他們提出了一個類似于b Bs推廣的語義切分方法，在里面使用MC job out，就是用這個方法或者公司訓練的兩個典型方法，提出了預測器和互信息。這個思路比較符合我們之前的商的概念，所以我沒有跟蹤的是1011團隊的所有研究。他們先研究了人工智能算法的不確定性，然后才有機會把這些不確定性的方法放到我們的車輛領域。

這也回答了剛才重慶大學王珂老師的一個問題，就是如何評價預期工作安全中涉及的算法不確定性。我覺得這是很有參考價值的參考資料，可以參考和學習。

另外，在決策算法的不確定性分析中，我們發現MIT和cmd做了大量的工作，即決策算法的前端是預測算法，所以我們通過預測算法來預測周圍環境、人和車輛的軌跡。如果他的預測不夠準確，會直接影響我們決策的安全性。

所以這里主要是前面的研究，主要是針對預測算法，如何把他們對周圍車輛和閑散人員預測的不確定性引入到我們的決策模塊中，讓我們的決策有預測性，這樣一種具有不確定性敏感性的決策方法，然后他們提出，如果我對周圍環境預測的不確定性很高，應該采取一些降級或者應急處理的方法。所以在這里我覺得對于預期功能安全的研究也是有意義的，所以這樣一個預期功能安全量化評估體系的總體思路是基于參考函數的內容和計算機領域所有可能的參考意義得出的。

然后整體思路可以說是和你討論了。事實上，這就是我的團隊現在正在做的事情。

我們認為預期的功能安全評價體系包括三個層次。第一個層次是系統層次。我們不關心內部結構是什么，它的算法是不是不確定的，而是把它當成一個黑盒。我們來看看。體現在我們現有測試場景的輸入上，包括功能場景、邏輯場景、具體場景，另外一個就是建立一個我們預期的功能安全的產品庫，在這些場景的基礎上輸入。我們對整體性能做一個評價，就是系統級評價和系統級評價相結合。現在我們認為它必須包括三個層次，即暴露度、嚴重性和可控性。那么暴露高度必須結合產品分類進行評估。在估計小偷之前肯定不是離散的，不是1234那么簡單，而是通過我們，可以實時做出這樣的風險評估。

這里我們有個名字叫潛在安全作戰指數，就是我們的潛在碰撞風險系數，潛在安全，價格，指數。我們可以實時判斷它的風險，所以它是非常特殊的可控性。我們根據對碰撞及其可能沖突的概率的評估來定義我們的可控性。所以在系統級評測的層面，我們可以發現現在的存儲是和esc結合在一起的，但是S和C都不同于傳統的功能安全，已經通用化了。

然后第一層是系統層，第二層是建設層。這個組件就是把內部系統開成一朵百合，包括感知模塊、預測模塊、決策模塊和執行模塊。

那么其中一個……該模塊中感知模塊的輸出，也就是我們認為的面向結構的輸出，包括風險率特征率和定位誤差等。當然我們在這個模塊中涵蓋了定位，所以可以說是根據它的結構取向來評價它的性能，包括你的采樣率和弱堿性區域的定位精度等等。

此外，同樣的決策預測模塊、決策模塊、執行模塊等。，都是基于他們預測的結果，是結果導向的。

那么第三層要深入算法本身，研究它的不確定性，更適合我們公司的產品開發和高效的理論研究。比如在感知模塊中，數據是確定性的，算法是不確定性的，這就包括了我們相對認知和偶然的不確定性。然后，通過這些不確定性，我們可以得到一個組件級感知的評價指標。

所以這也是一個例子。這是對第三個層面的評價，在決策層面和預測層面其實是一樣的。預測層面是我們可以研究預測模型的不確定性。預測模型預測你是準確的，它形成的軌跡是預測出來的。它具有不確定性。

此外，還有一個決策模塊。目前我們團隊正在研究決策模型的科技屬性。我們希望通過可解釋的研究提出決策模塊的評價指標，以及實現模塊，所以這張圖闡述了我們對預期功能安全的量化評價體系的總體思路，包括系統級評價、esc組件級評價和組件級評價，包括面向結構。也就是說，根據它的輸出結果，另一部分是深入算法本身，研究它的內在不確定性，提出一個評價指標，這個指標是三個層次。

那么我剛才在這里說的系統級的評測指標，就是基于我們的場景使用頻率的統計。所以太古寫的是潛在的碰撞風險系數，潛在的金融領域市場。另外，可以說value是引入我們可控碰撞概率的預算。然后，通過我們整個EMC計算，得到系統級的預期功能安全評估體系。

然后第三塊是感知層的預期功能安全評價體系，所以這里面有兩塊，一個是結果導向，就是根據我的數字的結果，用什么樣的評價指標來評價我們的感知結果，包括我們的感知準確率、漏檢率、誤檢率等。這里也證明了前兩天某激光雷達廠商在與經過專門培訓的李繼明女博士交流時，也利用了他們算法性能的下降。

也就是說，我們對某個模塊的評價，不一定是一個非常復雜的算法，而是一個更實用、更能被接受的方法去評價它。

另外就是內因導向的評價方法。內因是評估我們算法的不確定性，這里是我們如何評估采用我們的Carroll態數的不確定性。

那么預測層的預期功能安全評價體系實際上是基于預測的不確定性，實際上是MC Weekly的不確定性分析的一種評價方法，一種基于貝葉斯推理的模型，然后得出我們預測模塊整個不確定性分析的一個評價指標。當然評價指標可能更適合高校的理論研究，所以不排除我們行業應用這個評價體系做預期安全。

所以決策層其實主要是研究決策的可解釋性和不確定性的一些評價指標。這里我們希望得到決策層的可解釋性及其不確定性的一些評價指標。這部分研究內容還在進行中，具體結果可能要到明年才能和大家討論，所以這里是一個評價體系的初步設想，供大家參考，也歡迎大家提出更多有價值的意見。

注:本文根據現場速記整理，未經主講人審核。僅供參考。請勿轉載！

標簽：發現

汽車資訊熱門資訊