為什么說“行為預測”是自動駕駛終極殺器

圖片來自“東方IC”。行為預測的重要性是什么？自動駕駛汽車在行駛過程中，可能要一直回答這個問題——“未來五秒內，我身邊的車輛、行人、自行車會做什么？這個問題的學名是“行為預測”。行為預測的重要性是什么？自動駕駛公司Pronto的首席執行官安東尼·萊萬多夫斯基(Anthony Levandowski)講述了他的看法:他認為自動駕駛原型車在“預測”能力上的不足是其沖向4/5級的絆腳石。萊萬多夫斯基在Medium上發表的一篇博文中寫道:“現在沒有人能達到4/5級，因為今天的軟件還不足以預測未來。在這方面，軟件與人類的直覺相差甚遠，行為預測才是道路安全最重要的因素。萊萬多夫斯基在接受TechCrunch采訪時重申了這一觀點:“如果你想在測試車每次‘脫離’的時候都分析其背后的故事，并找到真正的原因，那么最終的結果將是軟件故障。即使是比較成熟的公司也很難避免，因為在復雜的環境下，車輛很容易產生誤解或者溝通問題。目前我們的問題不是能不能找到更好的傳感器，而是如何解決預測這個大問題。另一個持相同觀點的人是克里斯·厄姆森。2013年至2016年，他是Waymo的實際掌舵者，現在是自動駕駛公司Aurora的CEO。在最近的一次采訪中，厄姆森告訴麻省理工學院的助理教授萊克斯·弗里德曼(Lex Fridman)，“如果我有一根魔杖，我會用魔法改進系統的哪一部分，從而加速自動駕駛技術的落地？當然是車輛的感知和預測能力。換句話說，如果你明天能給我一個完美的模型，告訴車輛剛剛發生了什么，現在正在發生什么，接下來的五秒內會發生什么，那情況就大不一樣了。數據越多，準確率越高？Waymo、特斯拉等頭部公司都在嘗試用深度學習解決行為預測問題，即用數據集訓練深度神經網絡。對于深度神經網絡來說，數據越多，準確率越高，于是各公司開始了瘋狂的“喂數據”模式。特斯拉AI總監Andrej Karpathy在今年3月的Autonomy Day上講述了特斯拉是如何玩轉深度學習的:在類似于目標檢測的深度學習應用中，許多公司都會遇到瓶頸，因為他們需要付錢給人來手動標記圖片或視頻。以目標檢測為例。注入神經網絡的數據可能是一幀包含行人的視頻，公司想要的輸出是自動標注行人。當然，訓練神經網絡也是一項勞動密集型的工作。如果想通過訓練得到這樣的效果，我們就要不斷地向神經網絡輸入上千張類似的圖片，并在圖片中標注出哪些行人，而這個標注過程全部由人手工完成。有了行為預測，再加上過去5秒周圍車輛的輸入數據，輸出端可能會給出未來5秒周圍環境變化的預測。這10秒鐘的記錄將成為你手中的輸入輸出對，是訓練深度神經網絡的好“食物”。至于人工標注，完全沒必要。采用這種行為預測的方法后，甚至不需要上傳視頻，車輛可以直接保存周圍環境的抽象記錄。在自動駕駛系統看來，這種抽象記錄其實和人工標注是一樣的。在行為預測方面，特斯拉的優勢在于每天在路上忙碌的50多萬輛電動汽車——這類車輛配備了Autopilot的第二代和第三代硬件。換句話說，特斯拉使用了車上安裝的八個攝像頭、前雷達和神經網絡計算機來獲取車輛在行駛過程中的數據記錄，這些數據也可以通過Wi-Fi傳回特斯拉。想象一下，如果這50萬輛汽車發回的是抽象的記錄，而不是原始的視頻，那么特斯拉的行為預測訓練數據庫有多強大。當然，車輛獲得的數據不會被塞進車隊，篩選是一個必經的過程。比如把行為預測神經網絡所犯的錯誤作為訓練數據來對待，這是非常有意義的，而且這個糾錯的過程是一條進步的捷徑，比喂各種隨機數據要有效的多。簡而言之，數據不在數量上。從“長尾理論”的角度來看，即使犯錯誤的概率……行為預測很低，比如每100萬英里一次，特斯拉的團隊每個月行駛10億英里就能得到1000個“負面模型”。這1000條數據雖然小，但絕對有價值。計算能力的提高可以提升神經網絡的性能。雖然整個行業都像打了雞血一樣，但是誰也不確定全自動駕駛什么時候能實現，也許是明年，也許是十幾年后。但華爾街巨頭們認為，一旦全自動駕駛普及，自動駕駛出租車行業將會普及，最終將會孕育出年收入超萬億的超市。在如此巨大的誘惑下，大家不得不深挖深度學習、神經網絡、行為預測。ARK Invest的財務模型預測，如果特斯拉明年實現全自動駕駛，正如馬斯克所說，長期來看，特斯拉的股價將上漲20倍。即使沒有信用，通用汽車的自動駕駛部門Cruise仍然估值190億美元。去年8月，摩根士丹利大膽給了way mo 1750億美元的超高估值。今年，投資銀行Jefferies直接拋出了2500億美元的新價格，稱未來十年，Waymo將能夠站在這個臺階上。最近有消息稱，Waymo有意尋求外部投資者，估值在幾個Cruise之首。如果行為預測真的是自動駕駛最難也是最重要的問題，而特斯拉在這方面還領先于Waymo和Cruise等公司，那么特斯拉在自動駕駛出租車和自動駕駛卡車的市場上將前途無限，其股價也應該會大大超過Waymo或Cruise(現在特斯拉的市值只有420億美元)。即使永遠無法實現全自動駕駛，特斯拉也可以在半自動駕駛市場玩得很好。現在特斯拉推出了Autopilot導航、增強召喚等功能。如果未來增加新的半自動駕駛功能，特斯拉的電動汽車將有自己獨特的識別。如果其他公司不能像特斯拉一樣建立數據采集車隊，那么在深度學習方面與馬斯克競爭完全是瘋了，而深度學習的“深度”決定了半自動駕駛技術的先進與否。長期以來，許多批評者認為特斯拉只是一家電動汽車公司。只要競爭對手愿意努力，遲早會拿出更好的產品。其實馬斯克的眼光并沒有那么短視，自動駕駛才是特斯拉真正的“護城河”。從公司文化來看，特斯拉在市場上的“殺手锏”其實都是硬件公司。例如，特斯拉在2012年開始了OTA升級，這些汽車制造商現在才趕上來。從長遠來看，這也是特斯拉保持競爭力的一大動力來源。埃隆馬斯克(Elon Musk)表示，特斯拉的神經網絡和其他自動駕駛相關軟件實際上只占據了特斯拉新定制芯片FSD的5%-10%的計算能力。鑒于計算能力可以提振神經網絡的性能，特斯拉未來將繼續挖掘潛力。在去年第三季度的財報電話會議上，特斯拉AI總監安德烈·卡帕西(Andrej Karpathy)表示，更強的神經網絡已經在路上，FSD是其堅強的后盾。近日，馬斯克還在推特上指出，從今年第四季度開始，搭載FSD的車型將會在功能性方面逐漸甩開其他車型。在懂行的人看來，當馬斯克把FSD的性能擠壓到極限的時候，特斯拉將迎來一個新的階段。鑒于卡帕西在公開場合頻繁釋放信號，特斯拉的新型神經網絡一定是秘密研發了很久。這個“小核彈”不僅更大，而且在架構上也做了優化(比如升級人工神經元和連接方式)。對于特斯拉來說，性能的幾何級提升是其對神經網絡最大的期待。如何把視覺、預測、模擬織成一張網？如果計算視覺神經網絡未能檢測到道路上的汽車，下游的行為預測神經網絡也會“失明”汽車。同樣，這一過程產生的摘要記錄的質量也會惡化。所以無論是訓練還是推理，計算視覺的提升都意味著行為預測的進步。這個原理也適用于模仿學習，特斯拉正在利用這項技術進行路徑預測。在模仿學習的過程中，神經網絡會“吸入”一些輸入數據，可能是原始視頻，但我是afrai……它更像是計算視覺神經網絡生成的抽象記錄。當整個神經網絡路徑下行時，每個人都想在輸出端得到車輛下一步應該做什么的指令，然后這些數據會被傳輸到控制軟件，決定給出什么命令(剎車、轉向或加速)。擁有成千上萬的特斯拉車主，特斯拉可以收集到豐富的產出數據。將這些數據與抽象記錄結合起來，我們可以生成用于訓練的“輸入-輸出”。在模仿學習中，這種“輸入-輸出”對實際上是“狀態-動作”，包括世界或周圍環境的狀態和人類駕駛員的動作。類似于行為預測，模仿學習的“輸入-輸出”對不需要人類人工標注數據。有了足夠多的“狀態-動作”對，神經網絡就可以從人類駕駛員那里學習狀態和動作之間的關系。再加上足夠的訓練，神經網絡可以找到自己發號施令的狀態，學會駕駛。如果在模仿學習中使用抽象記錄，訓練和推理中計算視覺誤差的減少也意味著模仿學習誤差的減少。此外，提高行為預測能力也能促進模仿學習。換句話說，模仿學習中使用的輸入數據不一定來自計算視覺網絡，行為預測網絡也可以貢獻額外的輸入數據。

(司機網的組件:FeatureNet和AgentRNN)Waymo的模仿學習網絡司機網遵循的就是這個邏輯。它把視覺、預測、模擬編織成網之后，模仿學習可以有兩個參考目標，學習人類駕駛員的動作效率更高。為了找出環境狀態與駕駛員行為之間的關系，模仿網絡必須與人類駕駛員置于相同的環境中，并獲得相同的信息。眾所周知，人類開車不僅靠視覺，還有很強的預測能力。在自動駕駛系統中，計算視覺網絡負責重建人眼看到的車輛外部環境；行為預測網絡需要在人腦中重現整個預測過程。兩大網絡的目的是想出正確的駕駛策略。在未來，自動駕駛汽車可能會直接從像素中獲取相關信息，但目前機器學習工程師仍然傾向于將任務分配給視覺、預測和模仿。因此，預測能力(作為輸入)的提高也意味著模仿能力的提高，而視覺能力(作為輸入)的提高可以使預測和模仿都受益。行為預測是自動駕駛的終極殺手。在討論數據收集的時候，很多人都不看好特斯拉的“超級團隊”，因為他們認為特斯拉負擔不起人工標記。可惜特斯拉根本沒玩監督學習，行為預測才是終極殺手锏。此外，特斯拉還采用模仿學習，不需要人工標注。事實上，即使我們選擇用傳統的監督學習來研究計算視覺，特斯拉的車隊也能帶來各種有價值的數據(包括各種極端情況)。比如用于識別馬匹的深度學習網絡，也可以在車上運行。一旦它認為有馬出現，它就可以啟動相機快速拍照。顯然，這種方法可以用來識別相對罕見的物體。目前業界正在攻克計算視覺的自監督學習技術。有了它，訓練信號可以完全取自數據本身，無需人工標注。據汽車之心報道，在深度感知領域，特斯拉已經開始嘗試自我監督學習。上面的討論可能有些晦澀，但特斯拉未來的價值幾何其實取決于這些技術。面對自動駕駛萬億美元的市場，每個人都想成為領導者。這意味著數千億美元的估值。圖片來自“東方IC”。行為預測的重要性是什么？自動駕駛汽車在行駛過程中，可能要一直回答這個問題——“未來五秒內，我身邊的車輛、行人、自行車會做什么？這個問題的學名是“行為預測”。行為預測的重要性是什么？自動駕駛公司Pronto的首席執行官安東尼·萊萬多夫斯基(Anthony Levandowski)講述了他的看法:他認為自動駕駛原型車在“預測”能力上的不足是其沖向4/5級的絆腳石。萊萬多夫斯基在Medium上發表的一篇博文中寫道:“現在沒有人能達到4/5級，因為今天的軟件還不足以預測未來。在這方面，軟件與人類的直覺相差甚遠，行為預測才是道路安全最重要的因素。萊萬多夫斯基在接受TechCrunch采訪時重申了這一觀點:“如果你想在測試車每次‘脫離’的時候都分析其背后的故事，并找到真正的原因，那么最終的結果將是軟件故障。即使是比較成熟的公司也很難避免，因為在復雜的環境下，車輛很容易產生誤解或者溝通問題。目前我們的問題不是能不能找到更好的傳感器，而是如何解決預測這個大問題。另一個持相同觀點的人是克里斯·厄姆森。2013年至2016年，他是Waymo的實際掌舵者，現在是自動駕駛公司Aurora的CEO。在最近的一次采訪中，厄姆森告訴麻省理工學院的助理教授萊克斯·弗里德曼(Lex Fridman)，“如果我有一根魔杖，我會用魔法改進系統的哪一部分，從而加速自動駕駛技術的落地？當然是車輛的感知和預測能力。換句話說，如果你明天能給我一個完美的模型，告訴車輛剛剛發生了什么，現在正在發生什么，接下來的五秒內會發生什么，那情況就大不一樣了。數據越多，準確率越高？Waymo、特斯拉等頭部公司都在嘗試用深度學習解決行為預測問題，即用數據集訓練深度神經網絡。對于深度神經網絡來說，數據越多，準確率越高，于是各公司開始了瘋狂的“喂數據”模式。特斯拉AI總監Andrej Karpathy在今年3月的Autonomy Day上講述了特斯拉是如何玩轉深度學習的:在類似于目標檢測的深度學習應用中，許多公司都會遇到瓶頸，因為他們需要付錢給人來手動標記圖片或視頻。以目標檢測為例。注入神經網絡的數據可能是一幀包含行人的視頻，公司想要的輸出是自動標注行人。當然，訓練神經網絡……ks也是一個勞動密集型的工作。如果想通過訓練得到這樣的效果，我們就要不斷地向神經網絡輸入上千張類似的圖片，并在圖片中標注出哪些行人，而這個標注過程全部由人手工完成。有了行為預測，再加上過去5秒周圍車輛的輸入數據，輸出端可能會給出未來5秒周圍環境變化的預測。這10秒鐘的記錄將成為你手中的輸入輸出對，是訓練深度神經網絡的好“食物”。至于人工標注，完全沒必要。采用這種行為預測的方法后，甚至不需要上傳視頻，車輛可以直接保存周圍環境的抽象記錄。在自動駕駛系統看來，這種抽象記錄其實和人工標注是一樣的。在行為預測方面，特斯拉的優勢在于每天在路上忙碌的50多萬輛電動車——這類車輛搭載了Autopilot的第二代和第三代硬件。換句話說，特斯拉使用了車上安裝的八個攝像頭、前雷達和神經網絡計算機來獲取車輛在行駛過程中的數據記錄，這些數據也可以通過Wi-Fi傳回特斯拉。想象一下，如果這50萬輛汽車發回的是抽象的記錄，而不是原始的視頻，那么特斯拉的行為預測訓練數據庫有多強大。當然，車輛獲得的數據不會被塞進車隊，篩選是一個必經的過程。比如把行為預測神經網絡所犯的錯誤作為訓練數據來對待，這是非常有意義的，而且這個糾錯的過程是一條進步的捷徑，比喂各種隨機數據要有效的多。簡而言之，數據不在數量上。從“長尾理論”的角度來看，即使做出錯誤行為預測的概率很低，比如每100萬英里一次，特斯拉的團隊每個月行駛10億英里也能得到1000個“負面模型”。這1000條數據雖然小，但絕對有價值。計算能力的提高可以提升神經網絡的性能。雖然整個行業都像打了雞血一樣，但是誰也不確定全自動駕駛什么時候能實現，也許是明年，也許是十幾年后。但華爾街巨頭們認為，一旦全自動駕駛普及，自動駕駛出租車行業將會普及，最終將會孕育出年收入超萬億的超市。在如此巨大的誘惑下，大家不得不深挖深度學習，神經網絡，行為預測。ARK Invest的財務模型預測，如果特斯拉明年實現全自動駕駛，正如馬斯克所說，長期來看，特斯拉的股價將上漲20倍。即使沒有信用，通用汽車的自動駕駛部門Cruise仍然估值190億美元。去年8月，摩根士丹利大膽給了way mo 1750億美元的超高估值。今年，投資銀行Jefferies直接拋出了2500億美元的新價格，稱未來十年，Waymo將能夠站在這個臺階上。最近有消息稱，Waymo有意尋求外部投資者，估值在幾個Cruise之首。如果行為預測真的是自動駕駛最難也是最重要的問題，而特斯拉在這方面還領先于Waymo和Cruise等公司，那么特斯拉在自動駕駛出租車和自動駕駛卡車的市場上將前途無限，其股價也應該會大大超過Waymo或Cruise(現在特斯拉的市值只有420億美元)。即使永遠無法實現全自動駕駛，特斯拉也可以在半自動駕駛市場玩得很好。現在特斯拉推出了Autopilot導航、增強召喚等功能。如果未來增加新的半自動駕駛功能，特斯拉的電動汽車將有自己獨特的識別。如果其他公司不能像特斯拉一樣建立數據采集車隊，那么在深度學習方面與馬斯克競爭完全是瘋了，而深度學習的“深度”決定了半自動駕駛技術的先進與否。長期以來，許多批評者認為特斯拉只是一家電動汽車公司。只要競爭對手愿意努力，遲早會拿出更好的產品。其實馬斯克的眼光并沒有那么短視，自動駕駛才是特斯拉真正的“護城河”。從公司文化來看，特斯拉在市場上的“殺手锏”其實都是硬件公司。比如特斯拉啟動了OTA upgra……2012年，這些汽車制造商現在才開始追趕。從長遠來看，這也是特斯拉保持競爭力的一大動力來源。埃隆馬斯克(Elon Musk)表示，特斯拉的神經網絡和其他自動駕駛相關軟件實際上只占據了特斯拉新定制芯片FSD的5%-10%的計算能力。鑒于計算能力可以提振神經網絡的性能，特斯拉未來將繼續挖掘潛力。在去年第三季度的財報電話會議上，特斯拉AI總監安德烈·卡帕西(Andrej Karpathy)表示，更強的神經網絡已經在路上，FSD是其堅強的后盾。近日，馬斯克還在推特上指出，從今年第四季度開始，搭載FSD的車型將會在功能性方面逐漸甩開其他車型。在懂行的人看來，當馬斯克把FSD的性能擠壓到極限的時候，特斯拉將迎來一個新的階段。鑒于卡帕西在公開場合頻繁釋放信號，特斯拉的新型神經網絡一定是秘密研發了很久。這個“小核彈”不僅更大，而且在架構上也做了優化(比如升級人工神經元和連接方式)。對于特斯拉來說，性能的幾何級提升是其對神經網絡最大的期待。如何把視覺、預測、模擬織成一張網？如果計算視覺神經網絡未能檢測到道路上的汽車，下游的行為預測神經網絡也會“失明”汽車。同樣，這一過程產生的摘要記錄的質量也會惡化。所以無論是訓練還是推理，計算視覺的提升都意味著行為預測的進步。這個原理也適用于模仿學習，特斯拉正在利用這項技術進行路徑預測。在模仿學習的過程中，神經網絡會“吸入”一些輸入數據，這些數據可能是原始視頻，但恐怕更像是計算視覺神經網絡生成的抽象記錄。當整個神經網絡路徑下行時，每個人都想在輸出端得到車輛下一步應該做什么的指令，然后這些數據會被傳輸到控制軟件，決定給出什么命令(剎車、轉向或加速)。擁有成千上萬的特斯拉車主，特斯拉可以收集到豐富的產出數據。將這些數據與抽象記錄結合起來，我們可以生成用于訓練的“輸入-輸出”。在模仿學習中，這種“輸入-輸出”對實際上是“狀態-動作”，包括世界或周圍環境的狀態和人類駕駛員的動作。類似于行為預測，模仿學習的“輸入-輸出”對不需要人類人工標注數據。有了足夠多的“狀態-動作”對，神經網絡就可以從人類駕駛員那里學習狀態和動作之間的關系。再加上足夠的訓練，神經網絡可以找到自己發號施令的狀態，學會駕駛。如果在模仿學習中使用抽象記錄，訓練和推理中計算視覺誤差的減少也意味著模仿學習誤差的減少。此外，提高行為預測能力也能促進模仿學習。換句話說，模仿學習中使用的輸入數據不一定來自計算視覺網絡，行為預測網絡也可以貢獻額外的輸入數據。

(司機網的組件:FeatureNet和AgentRNN)Waymo的模仿學習網絡司機網遵循的就是這個邏輯。它把視覺、預測、模擬編織成網之后，模仿學習可以有兩個參考目標，學習人類駕駛員的動作效率更高。為了找出環境狀態與駕駛員行為之間的關系，模仿網絡必須與人類駕駛員置于相同的環境中，并獲得相同的信息。眾所周知，人類開車不僅靠視覺，還有很強的預測能力。在自動駕駛系統中，計算視覺網絡負責重建人眼看到的車輛外部環境；行為預測網絡需要在人腦中重現整個預測過程。兩大網絡的目的是想出正確的駕駛策略。在未來，自動駕駛汽車可能會直接從像素中獲取相關信息，但目前機器學習工程師仍然傾向于將任務分配給視覺、預測和模仿。因此，預測能力(作為輸入)的提高也意味著模仿能力的提高，而視覺能力(作為輸入)的提高可以使預測和模仿都受益。行為預測是自動駕駛的終極殺手。在討論數據收集的時候，很多人都不看好特斯拉的“超級團隊”，因為他們認為特斯拉負擔不起人工標記。可惜特斯拉根本沒玩監督學習，行為預測才是終極殺手锏。此外，特斯拉還采用模仿學習，不需要人工標注。事實上，即使我們選擇用傳統的監督學習來研究計算視覺，特斯拉的車隊也能帶來各種有價值的數據(包括各種極端情況)。比如用于識別馬匹的深度學習網絡也可以在車上運行。一旦它認為有馬出現，它就可以啟動相機快速拍照。顯然，這種方法可以用來識別相對罕見的物體。目前業界正在攻克計算視覺的自監督學習技術。有了它，訓練信號可以完全取自數據本身，無需人工標注。據汽車之心報道，在深度感知領域，特斯拉已經開始嘗試自我監督學習。上面的討論可能有些晦澀，但特斯拉未來的價值幾何其實取決于這些技術。面對自動駕駛萬億美元的市場，每個人都想成為領導者。這意味著數千億美元的估值。

標簽：特斯拉摩根前途

汽車資訊熱門資訊