工研院資通所 王祖芳、王威幀

自動駕駛在2年前全球各大車商隨處可見炫目的廣告裡，大家都信誓旦旦的說2020要讓自駕車開上開放道路，在這個前提之下，多數的民眾都以為從Waymo、Tesla、GM-Cruise新買來的高檔車，真的可以在啟動自動駕駛後就離開駕駛座去睡覺了，但是看到的是自駕車晚上視線不良出車禍，還有最近發生在國道嘉義段的Tesla自駕車，在大白天明顯前方已有翻倒的大貨車障礙，Tesla也毫無減速的直直撞上去，所以有內部傳聞說：「自駕車離真正商用，還需要至少10年。」，種種案例顯示出，如何獲得足夠的訓練資料來提升自駕車的行車安全是個重要的議題。

自駕車模擬器可自動合成邊角案例作為自駕車訓練資料，以避免自駕車事故發生率，提升行車安全。

精彩內容

1. 自駕車所需要邊角案例（Corner-case）資料集

2. 自駕車邊角案例應用實例──自動緊急煞車系統（AEB）

3. 自駕車利用邊角案例作訓練與驗證技術能夠勝出的關鍵點

自駕車邊角案例訓練資料集的重要性

從以上的說法，自駕車還不能開上開放道路已經是個事實而不是臆測，深度學習技術雖然是個百年不遇的神器，但它還是有它的缺點，任何知識來源都需要資料集，而且不是只要一兩筆資料就可以，必須要百萬數量級的資料量才勉強可以用。

車已經是個百年產業，對於安全早就有完備的規範與測試，例如ISO26262[1]就是個檢驗車輛安全的重要規範，只可惜的是ISO26262制定的時候，深度學習尚未出生，所以深度學習的缺點ISO26262看不到。簡單來說，ISO26262所關心的是車輛功能萬一失效時所應考慮的各項補強措施，而自駕車會出問題的地方卻是在車設計之初，根本就沒料到會遇到這種極端狀況（無此功能），當然ISO已針對此一問題提出預期功能的安全性（Safety Of The Intended Functionality, SOTIF）（標準制定中）來因應。

為了增加自駕車功能的安全性，自駕車需要充分的邊角案例（Corner-case）[2]資料集來作為深度學習模型的訓練與驗證之用，缺了邊角案例資料集，自駕車一般狀況可能相安無事，但是碰到極端天候與不正常路況（如路肩修路，車道臨時關閉等）就可能會出事故，就像是個危險的不定時炸彈。

邊角案例訓練資料在現實環境中取得不易

其實做自駕車的人都知道需要邊角案例（Corner-case）訓練資料集來強化他們的自駕車，但是常會碰到一個現實問題──正常資料都需要花費許多時間收集了更何況邊角案例，因為發生機率及時間點而讓收集更困難，加上各種不同事件與天候的狀況，要去收集那些夠極端（Corner）的案例來做自駕車訓練及驗證資料集是一大挑戰。

工研院在發展自駕車邊角案例訓練及驗證資料集前即已在車聯網相關科研計畫中，研究美國國家公路交通安全管理局（NHTSA）[3]累績四十餘年利用強制裝設在車上的端點偵測及回應 （Event Data Recorder, EDR），長期記錄車禍車輛上的各項資訊而推導出預碰撞（Pre-crash）的5種約37類的易肇事模型以作為改善駕駛安全之依據。

因此利用NHTSA的Pre-crash模型來製作自駕車邊角案例資料集，應該是一個讓自駕車學習避免各種易肇事情境的有效且有系統的做法，在2019年末Mobileye發表了責任歸屬安全模式（Responsibility Sensitive Safety, RSS）安全系統[4]，根據Mobileye官方的說法，RSS的設計也是從NHTSA Pre-crash發展而來。

利用自駕車模擬器來產生邊角案例的訓練資料集

自駕車模擬器在5年前還屈指可數（如PreScan[5]、rFpro[6]、Webots[7]、NVIDIA DRIVE™ Constellation AV[8]、Waymo’s Simulator等），而且價格皆在新台幣40萬元以上，不是一般人負擔得起的，後來許多原來不是模擬器開發的廠商也因為自駕車熱潮的興起，而陸續投入並發展出開源軟體版的模擬器（Simulator），如較早期的Gazebo [9]、V-Rep[10]與近期的Carla[11]、LGSVL Simulator[12]等，老牌的Webots也因為受到市場競爭而在其R2019a版開始宣布開源。至此利用自駕車模擬器來產生訓練資料集與模擬驗證自駕車的各項感知、決策甚至到控制的相關演算法才逐漸成為主流，但是自駕車模擬器相當複雜，現下沒有單一模擬器可以滿足所有需求，以各模擬器專長項目可概分為以下幾類：

1. 可以擬真影片（Photo-realistic video）輸出者，如NVIDIA之Constellation。
2. 可逼真模擬各項主流感測器，如PreScan支援Velodyne系列、Quanergy系列、RGB-D相機、雷達等各種感測器的模擬。
3. 可模擬真實路況與各項場景的Waymo。
4. 支援各種現有機器人硬體（如e-puck、Khepera III、Aibo、YouBot、TurtleBot 3、Pioneer 3-DX 等）的Webots。
5. 與深度學習有較方便之應用程式介面者如Carla與LGSVL Simulator。

藉由模擬器的彈性與功能，各種擬真邊角案例的合成讓訓練資料集的產生有了一種新的解決方案。

自駕車邊角案例的場景依據（Pre-crash events）

邊角案例的場景可有不同的來源，一種是從NHTSA所定義的邊角案例來，另一種則是從網路上行車紀錄器影片來，下面分別介紹幾個例子，透過模擬器合成對應之邊角案例場景影片。

1.NHTSA定義之預碰撞案例所合成之邊角案例影片

目前邊角案例根據現實生活中車禍案例，由NHTSA作統計與定義後，主要共分為5大類型、約37類，以下為常見類型：

(1)Rear-End：前車停止（Lead Vehicle Stopped, LVS）

典型場景：車輛直行並跟隨另一輛前方的車輛，然後前方車輛突然停止（如圖1）。

圖1 LVS模擬器畫面與案例示意圖

(2)Junction Crossing：直線交叉路口（Straight Crossing Paths, SCP）

典型場景：車輛直行並穿越十字路口，然後與橫向來車發生衝撞（如圖2）。

圖2 SCP模擬器畫面與案例示意圖

(3)Junction Crossing：左轉進入路徑（Left Turn Into Path, LTIP）

典型場景：車輛在十字路口處左轉時，與另一輛橫向行駛的車輛發生衝撞（如圖3）。

圖3 LTIP模擬器畫面與案例示意圖

(4)Left Turn Across Path：左轉穿越路徑／逆向對撞（Left Turn Across Path／Opposite Direction, LTAP/OD）

典型場景：車輛在十字路口處左轉，然後欲橫向穿越對向車道（如圖4）。

圖4 LTAP／OD模擬器畫面與案例示意圖

(5)Opposite Direction：對向且沒有操控車輛（No Maneuver）

典型場景：主車在原車道（直線、轉彎）行駛，與對向來車碰撞（如圖5）。

圖5 Opposite Direction模擬器畫面與案例示意圖

(6)Lane Change：在同一個方向行進且變換車道（Turning／same Direction）

典型場景：車輛欲在十字路口右轉，然後擦撞同向行駛的另一車輛（如圖6）。

圖6 Lane Change模擬器畫面與案例示意圖

2.以Youtube車禍影片為參考樣本所合成之邊角案例影片

(1)正常駕駛案例（真人全程駕駛）

類似前述案例（5）之OD／No Maneuver：主車在轉彎專用車道行駛，與對向來車碰撞（如圖7）。

圖7 Youtube車禍影片（對向行駛）與模擬器畫面

(2)自動輔助駕駛案例

國道1號南下268公里處發生一件車禍，貨車翻覆在內側車道，一輛特斯拉汽車卻從後方疾駛直接撞進貨車車廂（如圖8）。

圖8 模擬2020年6月特斯拉車禍事件

自駕車邊角案例應用實例──自動緊急煞車系統（AEB）

AEB（Autonomous Emergency Braking）為自動緊急煞車系統，一般在自駕車上測試AEB演算法時，都需要有人員在車上操控，以及簡單的測試環境，所以為了駕駛人員和被測試物件（車輛、人員等）等安全考量，我們可以把整個測試系統搬移到模擬器上，既安全又可以模擬更多的情境。

1.物件偵測之測試資料合成

利用模擬器產生各種邊角案例之影片，影片中包含能夠被辨識的物件（如車輛），同時模擬器也可以產生物件偵測所需之其他資訊，如語意分割（Semantic Segmentation）圖，及正確被標記為目標物件的資訊作為評測依據，如圖9所示。

圖9 物件偵測之標記畫面與語義分割（Semantic Segmentation）

2.AEB測試架構與情境

利用模擬器提供各種邊角案例測試影像資料給AEB測試者，經由測試者之AEB演算法判斷後，最後的決策指令再回傳給模擬器作出對應的行為（煞車與否、煞車力道），因目前自駕車的控制系統大多數為自動駕駛軟體（Autoware），故本系統利用機器人作業系統（Robot Operating System, ROS）與之作通訊傳輸，此架構如圖10所示，模擬器產生測試影片，並產生所需之對應感測器資訊，AEB測試者根據測試影片及感測器資訊進行AEB演算法運算，將決策結果回饋給模擬器做AEB行為模擬，藉此評量AEB演算法是否完善。

圖10 AEB測試架構與Autoware驅動畫面

自駕車利用邊角案例作訓練與驗證技術的勝出關鍵

利用模擬器合成各種邊角案例的訓練與驗證資料集，比傳統利用實車在外面收集相關影片更有效率且成本較低，能依需求產生各種邊角案例的影片，所以它的優勢有下面幾點

1.NHTSA預碰撞案例自動生成

符合NHTSA 規範的Pre-crash案列自動化產生，因為唯有數量夠大且情節正確的邊角資料集，才可以應付各種不同的真實路況，模擬器可以根據規範生成對應之影片來測試。

2.Youtube車禍事件重現

在Youtube大量的車禍資料中，必然存在著一些可以作為自駕車訓練與驗證的珍貴案例，模擬器可以依據Youtube的事件合成類似事件的測試影片。

3.利用模擬器產生各種邊角案例測試各種自駕車軟體

自駕車市場多數的實驗車都是從Autoware發展而來，因此利用模擬器來測試各種Autoware自駕情境的結果，藉由解決所產生的各種失敗案例，將會是解決自駕車日後開上開放道路的品質保證。

4.自駕車測試事件資料集的新標準

自駕車在可預見的3～5年內必然會制定出類似ISO26262的安全規範，所不同的是新的規範是針對自駕車的功能完整性而不是功能失常後的保護措施，因此新的規範SOTIF （ISO／PAS 21448 for now）將會著重在各種情境的測試（如M-City，沙崙場域各項測試情境等），模擬器可以協助產生對應之測試情境成為新的標準規範。

結論

隨著圖形處理器（Graphics Processing Unit, GPU）運算能力的提升與深度學習技術的高度發展，模擬器擬真的效果愈來愈接近真實，成本也逐漸可被一般企業接受，上述因素的加持下，預料自駕車技術的實現，模擬器必將扮演關鍵角色，而各種特殊邊角案例的取得也可以進一步利用模擬器自動合成相關訓練與測試影片，提升自駕車的安全與可靠性。

備註與參考文獻

[1]. ISO 26262系統功能安全設計標準介紹:

https://www.artc.org.tw/chinese/03_service/03_02detail.aspx?pid=1946

[2]. 美國國家公路交通安全管理局（NHTSA, National Highway Traffic Safety Administration），是美國運輸部下的一個執行機構，成立於美國華盛頓特區，其宗旨是「保護生命、防止傷害，減少車輛撞擊，其中的事故報告分析系統（Fatality Analysis Reporting System, or FARS）的分析數據，廣被全世界相關研究所引用。

引用: Home | National Highway Traffic Safety Administration(NHTSA) | U.S. Department of Transportation

[3]. Pre-Crash Scenario Typology for Crash Avoidance Research:

https://www.nhtsa.gov/sites/nhtsa.dot.gov/files/pre-crash_scenario_typology-final_pdf_version_5-2-07.pdf

[4]. Responsibility-Sensitive-Safety(A mathematical for automated vehicle safety):

https://www.mobileye.com/responsibility-sensitive-safety/

[5]. PreScan: https://tass.plm.automation.siemens.com/prescan

[6]. rFpro:http://www.rfpro.com/

[7]. Weobts:https://www.cyberbotics.com/

[8]. Nvidia drive constellation:https://www.nvidia.com/zh-tw/self-driving-cars/drive-constellation/

[9]. Gazebo:http://gazebosim.org/

[10]. V-REP:https://www.coppeliarobotics.com/

[11]. Carla(Open-source simulator for autonomous driving research.):https://carla.org/

[12]. Lgsvl simulator(Simulation software to accelerate safe autonomous vehicle development):https://www.lgsvlsimulator.com/