麻省理工學院研究人員利用深度學習處理點云 讓自動駕駛汽車更容易理解3D世界

自動駕駛汽車的激光雷達傳感器會發出紅外脈沖，并測量它們從物體上反彈的時間。該傳感器創建一個點云，并建立汽車周圍環境的3D快照，從而幫助車輛行駛。理解原始的點云數據是非常困難的，而在機器學習時代到來之前，訓練有素的工程師需要明確自己想要手動捕捉的特征。據國外媒體報道，麻省理工學院計算機科學和人工智能實驗室(CSAIL)的研究人員最近發表了一系列論文，表明深度學習可以用于自動處理3D成像應用中的點云。

(圖片來源:麻省理工學院)論文高級作者之一、麻省理工學院教授賈斯汀·所羅門(Justin Solomon)表示，“目前，90%的計算機視覺和機器學習只涉及2D圖像。我們的工作旨在幫助更好地表現3D世界，它不僅限于自動駕駛應用，還包括所有需要理解3D形狀的領域。”在過去，大多數方法在從數據中獲得點云的模式方面不是特別成功，而從空間中的3D點獲得有用的信息是必要的。在該團隊的一篇論文中，研究人員展示了他們分析點云的方法EdgeConv，該方法可以通過使用動態圖卷積神經網絡對單個對象進行分類和分割。豐田研究所的機器學習科學家Wadim Kehl表示，“該算法可以通過構建相鄰點的圖形來捕捉層次模式，從而推斷出各種類型的一般信息，可供各種下游任務使用。”此外，團隊還研究了點云處理的其他方面。例如，大多數傳感器在3D世界中移動時會改變其視角。每次他們再次掃描同一個物體時，物體的位置可能與他們上次看到的不同。要將多個點云合并成一個詳細的世界視圖，需要對齊多個3D點，這個過程稱為“配準”。該論文的作者之一王月博士說:“注冊使我們能夠將不同來源的3D數據整合到一個通用的坐標系中。否則，我們無法從這些方法中獲得有意義的信息。”Solomon和Wang的第二篇論文演示了一種新的配準算法，稱為DCP(深度最近點)，它可以更好地找到點云的可識別模式、點和邊緣，以便與其他點云對齊。這對于自主車輛確定它們在環境中的位置(定位)尤其重要。DCP的一個局限性是，它假設您可以看到整個形狀，而不僅僅是一面。這意味著DCP不能對齊對象形狀的部分視圖(稱為“部分對部分配準”)。因此，在第三篇論文中，研究人員提出了一種叫做部分注冊網絡(PRNet)的改進算法。所羅門說，與2D圖像和照片相比，現有的3D數據往往相當混亂和無組織。所羅門的團隊試圖在沒有大量機器學習技術的受控環境下，從混亂的3D數據中獲得有意義的信息。DCP和PRNet表明，點云處理的一個關鍵方面是上下文。將點云A與點云B對齊所需的幾何特征可能不同于對齊點云C所需的幾何特征..例如，在部分配準中，一個點云的形狀的一部分在其他點云上可能不可見，因此不能用于配準。王說，該團隊的工具已經被計算機視覺和其他領域的許多研究人員使用。接下來，研究人員希望將這些算法應用于現實世界的數據，包括從自動駕駛汽車收集的數據。王還表示，他們還計劃使用自我監督學習來探索訓練系統的潛力，從而最大限度地減少對人類評論的需求。自動駕駛汽車的激光雷達傳感器會發出紅外脈沖，并測量它們從物體上反彈的時間。該傳感器創建一個點云，并建立汽車周圍環境的3D快照，從而幫助車輛行駛。理解原始的點云數據是非常困難的，而在機器學習時代到來之前，訓練有素的工程師需要明確自己想要手動捕捉的特征。據國外媒體報道，麻省理工學院計算機科學和人工智能實驗室(CSAIL)的研究人員最近發表了一系列論文，表明深度學習可以用于自動處理點……3D成像應用中的ouds。

(圖片來源:麻省理工學院)論文高級作者之一、麻省理工學院教授賈斯汀·所羅門(Justin Solomon)表示，“目前，90%的計算機視覺和機器學習只涉及2D圖像。我們的工作旨在幫助更好地表現3D世界，它不僅限于自動駕駛應用，還包括所有需要理解3D形狀的領域。”在過去，大多數方法在從數據中獲得點云的模式方面不是特別成功，而從空間中的3D點獲得有用的信息是必要的。在該團隊的一篇論文中，研究人員展示了他們分析點云的方法EdgeConv，該方法可以通過使用動態圖卷積神經網絡對單個對象進行分類和分割。豐田研究所的機器學習科學家Wadim Kehl表示，“該算法可以通過構建相鄰點的圖形來捕捉層次模式，從而推斷出各種類型的一般信息，可供各種下游任務使用。”此外，團隊還研究了點云處理的其他方面。例如，大多數傳感器在3D世界中移動時會改變其視角。每次他們再次掃描同一個物體時，物體的位置可能與他們上次看到的不同。要將多個點云合并成一個詳細的世界視圖，需要對齊多個3D點，這個過程稱為“配準”。該論文的作者之一王月博士說:“注冊使我們能夠將不同來源的3D數據整合到一個通用的坐標系中。否則，我們無法從這些方法中獲得有意義的信息。”Solomon和Wang的第二篇論文演示了一種新的配準算法，稱為DCP(深度最近點)，它可以更好地找到點云的可識別模式、點和邊緣，以便與其他點云對齊。這對于自主車輛確定它們在環境中的位置(定位)尤其重要。DCP的一個局限性是，它假設您可以看到整個形狀，而不僅僅是一面。這意味著DCP不能對齊對象形狀的部分視圖(稱為“部分對部分配準”)。因此，在第三篇論文中，研究人員提出了一種叫做部分注冊網絡(PRNet)的改進算法。所羅門說，與2D圖像和照片相比，現有的3D數據往往相當混亂和無組織。所羅門的團隊試圖在沒有大量機器學習技術的受控環境下，從混亂的3D數據中獲得有意義的信息。DCP和PRNet表明，點云處理的一個關鍵方面是上下文。將點云A與點云B對齊所需的幾何特征可能不同于對齊點云C所需的幾何特征..例如，在部分配準中，一個點云的形狀的一部分在其他點云上可能不可見，因此不能用于配準。王說，該團隊的工具已經被計算機視覺和其他領域的許多研究人員使用。接下來，研究人員希望將這些算法應用于現實世界的數據，包括從自動駕駛汽車收集的數據。王還表示，他們還計劃使用自我監督學習來探索訓練系統的潛力，從而最大限度地減少對人類評論的需求。

標簽：豐田

汽車資訊熱門資訊