MIT設計新型光子芯片，效率比電子芯片高1000萬倍

神經網絡是一種機器學習模型，廣泛應用于機器人目標識別、自然語言處理、藥物開發、醫學成像和駕駛無人駕駛汽車等領域。使用光學現象加速計算的新光學神經網絡可以比其他電子同行運行得更快、更有效。然而，隨著傳統神經網絡和光學神經網絡變得越來越復雜，它們消耗了大量的能量。為了解決這個問題，包括谷歌、IBM和特斯拉在內的研究人員和各大科技公司開發了“人工智能加速器”，這是一種專門的芯片，可以提高訓練和測試神經網絡的速度和效率。對于電子芯片，包括大部分人工智能加速器，都有一個理論上的最小能耗極限。最近，麻省理工學院的研究人員開始為光學神經網絡開發光子加速器。這些芯片在數量級上更有效，但它們依賴于一些笨重的光學元件，這限制了它們在相對較小的神經網絡中的使用。在發表于《物理評論X》的論文中，麻省理工學院的研究人員描述了一種新型的光子加速器，它使用更緊湊的光學元件和光信號處理技術，大大降低了功耗和芯片面積。這使得芯片可以擴展到神經網絡，比相應的芯片大幾個數量級。神經網絡在MNIST圖像分類數據集上的仿真訓練表明，該加速器理論上可以處理神經網絡，比傳統電子加速器的能耗極限低1000萬倍以上，比光子加速器低1000倍左右。研究人員現在正在開發一種原型芯片，通過實驗證明這一結果。“人們正在尋找一種可以超出基本能耗限制進行計算的技術，”電子研究實驗室的博士后Ryan Hamerly說。“光子加速器非常有前途...但我們的動機是建立一個可以大規模擴展的神經網絡。”這些技術的實際應用包括降低數據中心的能耗。“對運行大型神經網絡的數據中心的需求越來越大，隨著需求的增長，計算變得越來越困難，”電子研究實驗室的合著者和研究生亞歷山大·斯魯德斯(Alexander Sludds)說，旨在“利用神經網絡硬件來滿足計算需求……以解決能耗和延遲的瓶頸”。與Sludds和Hamerly合著這篇論文的有:RLE研究生、合著者Liane Bernstein；馬林·索爾賈西奇；，麻省理工學院物理學教授；德克·英格倫；麻省理工學院電子工程和計算機科學副教授；他是RLE大學的研究員和量子光子學實驗室的負責人。依靠更緊湊和節能的“光電”方案，神經網絡通過包括互連節點(稱為“神經元”)在內的許多計算層來處理數據，從而在數據中找到模式。神經元從其上游“鄰居”接收輸入，并計算輸出信號，該信號被發送到更下游的神經元。每個輸入還被分配一個“權重”，這是一個基于它對所有其他輸入的相對重要性的值。隨著數據在各層的“深入”傳播，網絡逐漸學習到更復雜的信息。最后，輸出層根據整個層的計算生成預測。所有人工智能加速器的目標都是減少神經網絡中特定線性代數步驟(稱為“矩陣乘法”)中處理和移動數據所需的能量。在那里，神經元和權重被編碼到單獨的行和列表中，然后組合起來計算輸出。在傳統的光子加速器中，脈沖激光將每個神經元的信息編碼成一層，然后流入波導，通過分束器。產生的光信號被發送到一個名為“馬赫-曾德爾干涉儀”的正方形光學元件網格，該網格被編程為執行矩陣乘法。干涉儀利用每個權值的信息進行編碼，利用信號干涉技術對光信號和權值進行處理，計算出每個神經元的輸出。但是有一個縮放問題:對于每個神經元，必須有一個波導，對于每個重量，必須有一個干涉儀。由于重量與神經元的數量成正比，這些干涉儀占據了很大的空間。“你很快就會意識到，輸入神經元的數量永遠不會超過100個左右，因為你無法在芯片上安裝這么多組件，”哈默利說。“如果你的光子加速器每層不能處理100個以上的神經元，就很難將大型神經網絡應用于這種結構。”研究人員的芯片依賴于更緊湊和節能的“光電”方案，該方案使用光信號對數據進行編碼，但使用“平衡零差檢測”進行矩陣乘法。這是一種在計算兩個光信號的振幅(波高)的乘積之后產生可測量的電信號的技術。光脈沖編碼的信息流經輸入和輸出神經元的每個神經網絡層中的單個通道，用于訓練網絡。用矩陣乘法表中的整行權重信息編碼的各個脈沖流經各個通道。將神經元和重量數據傳輸到零差光電探測器網格的光信號。光電探測器使用信號的幅度來計算每個神經元的輸出值。每個檢測器將每個神經元的電輸出信號輸入調制器，調制器將信號轉換回光脈沖。光信號成為下一層的輸入，依此類推。這種設計每個輸入輸出神經元只需要一個通道，只需要和神經元一樣多的零拍光電探測器，沒有重量。由于神經元的數量總是遠遠小于重量，節省了大量的空間，因此該芯片可以擴展到每層超過一百萬個神經元的神經網絡。用光子加速器找最好的，信號中會有不可避免的噪聲。注入芯片的光越多，噪音越少，精度越高——但這將變得非常低效。輸入光越少，效率越高，但會對神經網絡的性能產生負面影響。但伯恩斯坦說，有一個“最佳點”，即在保持精度的同時使用最小的光功率。人工智能加速器的最佳位置是通過執行兩個數相乘的單個運算(如矩陣乘法)需要多少焦耳來衡量的。目前傳統的加速器是以皮焦耳或萬億焦耳為單位來測量的。光子加速器是用阿托約爾斯測量的，效率要高一百萬倍。在模擬中，研究人員發現他們的光子加速器可以以比attojoules更低的效率運行。“在失去準確性之前，你可以發送一些最小光功率。我們芯片的基本限制比傳統加速器低得多.....并且比其他光子加速器的要低，”伯恩斯坦說。

神經網絡是一種機器學習模型，廣泛應用于機器人目標識別、自然語言處理、藥物開發、醫學成像和駕駛等領域美國的汽車。使用光學現象加速計算的新光學神經網絡可以比其他電子同行運行得更快、更有效。然而，隨著傳統神經網絡和光學神經網絡變得越來越復雜，它們消耗了大量的能量。為了解決這個問題，包括谷歌、IBM和特斯拉在內的研究人員和各大科技公司開發了“人工智能加速器”，這是一種專門的芯片，可以提高訓練和測試神經網絡的速度和效率。對于電子芯片，包括大部分人工智能加速器，都有一個理論上的最小能耗極限。最近，麻省理工學院的研究人員開始為光學神經網絡開發光子加速器。這些芯片在數量級上更有效，但它們依賴于一些笨重的光學元件，這限制了它們在相對較小的神經網絡中的使用。在發表于《物理評論X》的論文中，麻省理工學院的研究人員描述了一種新型的光子加速器，它使用更緊湊的光學元件和光信號處理技術，大大降低了功耗和芯片面積。這使得芯片可以擴展到神經網絡，比相應的芯片大幾個數量級。神經網絡在MNIST圖像分類數據集上的仿真訓練表明，該加速器理論上可以處理神經網絡，比傳統電子加速器的能耗極限低1000萬倍以上，比光子加速器低1000倍左右。研究人員現在正在開發一種原型芯片，通過實驗證明這一結果。“人們正在尋找一種可以超出基本能耗限制進行計算的技術，”電子研究實驗室的博士后Ryan Hamerly說。“光子加速器非常有前途...但我們的動機是建立一個可以大規模擴展的神經網絡。”這些技術的實際應用包括降低數據中心的能耗。“對運行大型神經網絡的數據中心的需求越來越大，隨著需求的增長，計算變得越來越困難，”電子研究實驗室的合著者和研究生亞歷山大·斯魯德斯(Alexander Sludds)說，旨在“利用神經網絡硬件來滿足計算需求……以解決能耗和延遲的瓶頸”。與Sludds和Hamerly合著這篇論文的有:RLE研究生、合著者Liane Bernstein；馬林·索爾賈西奇；，麻省理工學院物理學教授；德克·英格倫；麻省理工學院電子工程和計算機科學副教授；他是RLE大學的研究員和量子光子學實驗室的負責人。依靠更緊湊和節能的“光電”方案，神經網絡通過包括互連節點(稱為“神經元”)在內的許多計算層來處理數據，從而在數據中找到模式。神經元從其上游“鄰居”接收輸入，并計算輸出信號，該信號被發送到更下游的神經元。每個輸入還被分配一個“權重”，這是一個基于它對所有其他輸入的相對重要性的值。隨著數據在各層的“深入”傳播，網絡逐漸學習到更復雜的信息。最后，輸出層根據整個層的計算生成預測。所有人工智能加速器的目標都是減少神經網絡中特定線性代數步驟(稱為“矩陣乘法”)中處理和移動數據所需的能量。在那里，神經元和權重被編碼到單獨的行和列表中，然后組合起來計算輸出。在傳統的光子加速器中，脈沖激光將每個神經元的信息編碼成一層，然后流入波導，通過分束器。產生的光信號被發送到一個名為“馬赫-曾德爾干涉儀”的正方形光學元件網格，該網格被編程為執行矩陣乘法。干涉儀利用每個權值的信息進行編碼，利用信號干涉技術對光信號和權值進行處理，計算出每個神經元的輸出。但是有一個縮放問題:對于每個神經元，必須有一個波導，對于每個重量，必須有一個干涉儀。由于重量與神經元的數量成正比，這些干涉儀占據了很大的空間。“你很快就會意識到，輸入神經元的數量永遠不會超過100個左右，因為你無法在芯片上安裝這么多組件，”哈默利說。“如果你的光子加速器每層不能處理100個以上的神經元，就很難將大型神經網絡應用于這種結構。”研究人員的芯片依賴于更緊湊和節能的“光電”方案，該方案使用光信號對數據進行編碼，但使用“平衡零差檢測”進行矩陣乘法。這是一種在計算兩個光信號的振幅(波高)的乘積之后產生可測量的電信號的技術。光脈沖編碼的信息流經輸入和輸出神經元的每個神經網絡層中的單個通道，用于訓練網絡。用矩陣乘法表中的整行權重信息編碼的各個脈沖流經各個通道。將神經元和重量數據傳輸到零差光電探測器網格的光信號。光電探測器使用信號的幅度來計算每個神經元的輸出值。每個檢測器將每個神經元的電輸出信號輸入調制器，調制器將信號轉換回光脈沖。光信號成為下一層的輸入，依此類推。這種設計每個輸入輸出神經元只需要一個通道，只需要和神經元一樣多的零拍光電探測器，沒有重量。由于神經元的數量總是遠遠小于重量，節省了大量的空間，因此該芯片可以擴展到每層超過一百萬個神經元的神經網絡。用光子加速器找最好的，信號中會有不可避免的噪聲。注入芯片的光越多，噪音越少，精度越高——但這將變得非常低效。輸入光越少，效率越高，但會對神經網絡的性能產生負面影響。但伯恩斯坦說，有一個“最佳點”，即在保持精度的同時使用最小的光功率。人工智能加速器的最佳位置是通過執行兩個數相乘的單個運算(如矩陣乘法)需要多少焦耳來衡量的。目前傳統的加速器是以皮焦耳或萬億焦耳為單位來測量的。光子加速器是用阿托約爾斯測量的，效率要高一百萬倍。在模擬中，研究人員發現他們的光子加速器可以以比attojoules更低的效率運行。“在失去準確性之前，你可以發送一些最小光功率。我們芯片的基本限制比傳統加速器低得多.....并且比其他光子加速器的要低，”伯恩斯坦說。

標簽：發現特斯拉前途

汽車資訊熱門資訊