對抗性數據需警惕 科學家已經測試“”了一輛無人車

近年來，人工智能取得了很大的進步，但正如許多人工智能用戶所表明的那樣，人工智能仍然容易出現一些人類不會犯的驚人錯誤。雖然這些錯誤有時可能是人工智能學習不可避免的后果，但越來越明顯的是，一個比我們預期的嚴重得多的問題正在帶來越來越多的風險:對抗性數據。對抗性數據描述了一種情況，即人類用戶故意向算法提供損壞的信息，損壞的數據擾亂了機器學習過程，從而算法得出錯誤的結論或不正確的預測。作為一名生物醫學工程師，筆者認為拮抗數據是一個值得關注的重要課題。最近，加州大學伯克利分校的教授Dawn Song“”了一輛自動駕駛汽車，讓它認為停車標志上的限速是每小時45英里。這種性質的惡意攻擊很容易導致致命事故。同樣，受損的算法數據可能導致錯誤的生物醫學研究，甚至危及生命或影響醫療事業的創新發展。直到最近人們才意識到對抗性數據的威脅，我們不能再忽視它了。對抗性數據是如何產生的？有趣的是，即使沒有任何惡意，也有可能產生對抗性的數據輸出。這很大程度上是因為算法可以在數據中“觀察”到我們人類無法識別的東西。由于這種可見性，麻省理工學院最近的一項案例研究將對抗性描述為一種特征，而不是一種缺陷。在這項研究中，研究人員分離了人工智能學習過程中的“魯棒性”和“非魯棒性”特征。魯棒特征通常可以被人類感知，而非魯棒特征只能被人工智能檢測到。研究人員試圖使用一種算法讓人工智能識別貓的圖片。結果表明，系統通過觀察圖像中的真實圖案得出了錯誤的結論。誤識別的原因是人工智能看到的是一組無法清晰感知的像素，導致無法正確識別照片。這導致系統在識別算法的過程中被無意地訓練使用誤導模式。作為一種“干擾噪聲”，這些非魯棒特征導致算法結果的缺陷。所以，黑客要想干擾人工智能，往往只需要引入一些非魯棒的特征，這些特征不容易被人眼識別，卻能明顯改變人工智能的輸出結果。對抗性數據和黑暗人工智能的潛在后果正如安全情報局的Moazzam Khan所指出的，依賴對抗性數據的攻擊主要有兩種:“投攻擊”和“躲閃攻擊”。在投攻擊中，攻擊者提供一些輸入實例，使決策邊界向對攻擊者有利的方向移動；在dodge攻擊中，攻擊者會使程序模型對樣本進行錯誤的分類。例如，在作者熟悉的生物醫學環境中，對抗性數據的攻擊可能導致算法錯誤地將有害或污染的樣本標記為良性和清潔的，從而導致錯誤的研究結果或錯誤的醫學診斷。人工智能的學習算法也可以用來驅動專門用來幫助黑客的惡意人工智能程序。正如《惡意人工智能報告》指出的那樣，黑客可以利用人工智能來方便他們的破壞活動，從而實現更大范圍的網絡攻擊。特別是，機器學習可以繞過不安全的物聯網設備，使黑客更容易竊取機密數據和非法操縱公司數據庫。本質上，一個黑暗的人工智能工具可以通過對抗性數據“感染”或操縱其他人工智能程序。中小企業由于沒有先進的網絡安全指標，往往面臨更高的風險。盡管存在這些問題，對抗性數據也可以被積極地使用。事實上，許多開發者已經開始使用對抗性數據來檢測自己的系統漏洞，以便在黑客利用漏洞之前升級安全。其他開發人員正在使用機器學習來創建另一個人工智能系統，以確保它更好地識別和消除潛在的數據威脅。正如Joe De Chardt在《遺傳工程和生物技術新聞》上發表的一篇文章中解釋的那樣，這些人工智能工具中有許多已經能夠發現計算機網絡上的可疑活動，分析時間通常為幾毫秒，它們可以在造成任何損害之前消除禍害。這些罪犯通常來自流氓文件或程序。他補充說，這種方法不同于傳統的信息技術安全，傳統的信息技術安全更注重識別具有已知威脅的特定文件和程序，而不是研究這些文件和程序的行為。當然，機器學習算法本身的改進也可以減少一些對抗性數據帶來的風險。然而，最重要的是，這些系統并不是完全獨立的。人工輸入和人工監督仍然是識別魯棒特征和非魯棒特征差異的關鍵，以保證錯誤的識別不會導致錯誤的結果。使用真實相關性的額外訓練可以進一步降低人工智能的脆弱性。顯然，在不久的將來，對抗性數據將繼續挑戰人類世界。但在這樣一個時代，人工智能可以用來幫助我們更好地了解人類大腦，解決各種世界問題。我們不能低估這種數據驅動的威脅的緊迫性。處理對抗性數據，采取措施對抗黑暗人工智能，應該是科技界的首要任務之一。

近年來，人工智能取得了很大的進步，但正如許多人工智能用戶所表明的那樣，人工智能仍然容易出現一些人類不會犯的驚人錯誤。雖然這些錯誤有時可能是人工智能學習不可避免的后果，但越來越明顯的是，一個比我們預期的嚴重得多的問題正在帶來越來越多的風險:對抗性數據。對抗性數據描述了一種情況，即人類用戶故意向算法提供損壞的信息，損壞的數據擾亂了機器學習過程，從而算法得出錯誤的結論或不正確的預測。作為一名生物醫學工程師，筆者認為拮抗數據是一個值得關注的重要課題。最近，加州大學伯克利分校的教授Dawn Song“”了一輛自動駕駛汽車，讓它認為停車標志上的限速是每小時45英里。這種性質的惡意攻擊很容易導致致命事故。同樣，受損的算法數據可能導致錯誤的生物醫學研究，甚至危及生命或影響醫療事業的創新發展。直到最近人們才意識到對抗性數據的威脅，我們不能再忽視它了。對抗性數據是如何產生的？有趣的是，即使沒有任何惡意，也有可能產生對抗性的數據輸出。這很大程度上是因為算法可以“觀察”數據中我們人類無法識別的東西。由于這種可見性，麻省理工學院最近的一項案例研究將對抗性描述為一種特征，而不是……奧爾特。在這項研究中，研究人員分離了人工智能學習過程中的“魯棒性”和“非魯棒性”特征。魯棒特征通常可以被人類感知，而非魯棒特征只能被人工智能檢測到。研究人員試圖使用一種算法讓人工智能識別貓的圖片。結果表明，系統通過觀察圖像中的真實圖案得出了錯誤的結論。誤識別的原因是人工智能看到的是一組無法清晰感知的像素，導致無法正確識別照片。這導致系統在識別算法的過程中被無意地訓練使用誤導模式。作為一種“干擾噪聲”，這些非魯棒特征導致算法結果的缺陷。所以，黑客要想干擾人工智能，往往只需要引入一些非魯棒的特征，這些特征不容易被人眼識別，卻能明顯改變人工智能的輸出結果。對抗性數據和黑暗人工智能的潛在后果正如安全情報局的Moazzam Khan所指出的，依賴對抗性數據的攻擊主要有兩種:“投攻擊”和“躲閃攻擊”。在投攻擊中，攻擊者提供一些輸入實例，使決策邊界向對攻擊者有利的方向移動；在dodge攻擊中，攻擊者會使程序模型對樣本進行錯誤的分類。例如，在作者熟悉的生物醫學環境中，對抗性數據的攻擊可能導致算法錯誤地將有害或污染的樣本標記為良性和清潔的，從而導致錯誤的研究結果或錯誤的醫學診斷。人工智能的學習算法也可以用來驅動專門用來幫助黑客的惡意人工智能程序。正如《惡意人工智能報告》指出的那樣，黑客可以利用人工智能來方便他們的破壞活動，從而實現更大范圍的網絡攻擊。特別是，機器學習可以繞過不安全的物聯網設備，使黑客更容易竊取機密數據和非法操縱公司數據庫。本質上，一個黑暗的人工智能工具可以通過對抗性數據“感染”或操縱其他人工智能程序。中小企業由于沒有先進的網絡安全指標，往往面臨更高的風險。盡管存在這些問題，對抗性數據也可以被積極地使用。事實上，許多開發者已經開始使用對抗性數據來檢測自己的系統漏洞，以便在黑客利用漏洞之前升級安全。其他開發人員正在使用機器學習來創建另一個人工智能系統，以確保它更好地識別和消除潛在的數據威脅。正如Joe De Chardt在《遺傳工程和生物技術新聞》上發表的一篇文章中解釋的那樣，這些人工智能工具中有許多已經能夠發現計算機網絡上的可疑活動，分析時間通常為幾毫秒，它們可以在造成任何損害之前消除禍害。這些罪犯通常來自流氓文件或程序。他補充說，這種方法不同于傳統的信息技術安全，傳統的信息技術安全更注重識別具有已知威脅的特定文件和程序，而不是研究這些文件和程序的行為。當然，機器學習算法本身的改進也可以減少一些對抗性數據帶來的風險。然而，最重要的是，這些系統并不是完全獨立的。人工輸入和人工監督仍然是識別魯棒特征和非魯棒特征差異的關鍵，以保證錯誤的識別不會導致錯誤的結果。使用真實相關性的額外訓練可以進一步降低人工智能的脆弱性。顯然，在不久的將來，對抗性數據將繼續挑戰人類世界。但在這樣一個時代，人工智能可以用來幫助我們更好地了解人類大腦，解決各種世界問題。我們不能低估這種數據驅動的威脅的緊迫性。處理對抗性數據，采取措施對抗黑暗人工智能，應該是科技界的首要任務之一。

標簽：

汽車資訊熱門資訊