據國外媒體報道,日前,美國專利商標局授予蘋果一項新專利:工業增強現實相機系統。該系統涉及將數字信息投影到真實環境中的真實對象上的方法和系統。
(來源:patentlyapple.com)
在這項專利的背景中,蘋果指出,增強現實(AR)系統可以通過計算機生成的數字信息,直接、直觀地增強真實環境。例如,這些數字信息是在真實環境中可以增強視覺印象的虛擬信息。典型的應用是基于投影儀的增強現實、投影增強現實或空間增強現實。
數字信息可以是任何類型的可視數據,例如真實對象、文本、圖形、視頻或上述對象的組合。通過使用投影儀將計算機生成的數字信息投影到全部或部分真實環境中的真實對象的表面上,可以直接增強真實環境。投影AR有很多應用場景,比如建筑設計的原型、汽車制造、開發新穎的計算機用戶界面所需的普適計算、信息展示等。但蘋果尚未宣布是否會在泰坦項目中使用這項發明。在工業領域,投影AR也被稱為“投影或空間增強現實”。
為了實現投影視覺數字信息與真實環境中增強的真實物體的對準,需要了解真實物體與投影儀之間的空間變換。因此,系統需要頻繁地執行校準過程,以便評估基于2D-2D、2D-3D或3D-3D對應的空間變換,這對于構建投影AR系統來說是非常具有挑戰性的。這種校準過程通常需要使用照相機。
為了計算投影儀和真實物體之間的空間變換,業界已經提出并開發了許多校準方法。一種方法是通過使用照相機和投影儀在汽車的儀表板上顯示視覺數據。為了實現校準,攝像機和投影儀應牢固連接。可以對攝像機獲得的視覺數據進行處理,粗略判斷放映機車的外部特征(如相對空間位置和方向)。
攝像機還可以檢測汽車上的標記,從而評估攝像機和汽車之間的空間變換,并確定投影儀和汽車之間的空間變換。但這種方法的問題是,必須事先測量標記相對于汽車坐標系的位置和方向。商業投影AR系統Extend3D可以根據牢固連接到投影儀的相機傳感器來跟蹤一組數據標記。
用于在真實環境中真實物體上投影數字信息的系統
蘋果的發明提供了一種在真實環境中的真實物體上投射數字信息的系統。該系統包括可見光投影儀,其適于將數字信息投影到真實環境中的真實對象或其一部分上;照相機可以通過使用投影的數字信息來捕獲至少一個真實物體的圖像;深度傳感器內置在相機中,可以捕捉真實物體或其部分的深度數據;處理組件,其可用于基于一個以上的圖像和深度數據來計算可見光投影儀和真實對象之間的空間變換。
根據特定的安裝模式,在優選實施例中,該方法包括基于已知真實對象的3D模型評估RGB-D相機系統和真實對象之間的空間變換,計算投影儀的固有參數以及投影儀和真實對象之間的空間變換(基于使用投影儀在真實對象或其一部分的一個或多個表面上投影一個或多個視覺圖像),以及使用RGB-D相機捕獲投影的視覺圖案的深度圖。
下面的圖1A示出了根據本發明的一個方面的示例性系統設置,其中RGB-D相機系統和可見光投影儀之間的連接不合適;圖3示出了根據本發明示例的方法流程圖。

蘋果專利數字1A和3(來源:patentlyapple.com)
下面的圖5示出了包括可見光投影儀和RGB-D相機系統的示例性手持設備,圖6示出了包括可見光投影儀和RGB-D相機系統的示例性耳機設備。

蘋果專利圖5和圖6(來源:patentlyapple.com)
下面的圖7示出了根據本發明的有利的硬件布置。

蘋果專利圖7(來源:patentlyapple.com)
專利聲明中列出的發明人之一是Selim BenHimane,英特爾前員工,計算機視覺機器學習高級工程經理;一位是高級機器學習經理丹尼爾·庫爾茨,他在蘋果收購虛擬現實初創公司Metaio時加入了蘋果。這項專利似乎最初是由Metaio公司申請的。據國外媒體報道,日前,美國專利商標局授予蘋果一項新專利:工業增強現實相機系統。該系統涉及將數字信息投影到真實環境中的真實對象上的方法和系統。
(來源:patentlyapple.com)
在這項專利的背景中,蘋果指出,增強現實(AR)系統可以通過計算機生成的數字信息,直接、直觀地增強真實環境。例如,這些數字信息是在真實環境中可以增強視覺印象的虛擬信息。典型的應用是基于投影儀的增強現實、投影增強現實或空間增強現實。
數字信息可以是任何類型的可視數據,例如真實對象、文本、圖形、視頻或上述對象的組合。通過使用投影儀將計算機生成的數字信息投影到全部或部分真實環境中的真實對象的表面上,可以直接增強真實環境。投影AR有很多應用場景,比如建筑設計的原型、汽車制造、開發新穎的計算機用戶界面所需的普適計算、信息展示等。但蘋果尚未宣布是否會在泰坦項目中使用這項發明。在工業領域,投影AR也被稱為“投影或空間增強現實”。
為了實現投影視覺數字信息與真實環境中增強的真實物體的對準,需要了解真實物體與投影儀之間的空間變換。因此,系統需要頻繁地執行校準過程,以便評估基于2D-2D、2D-3D或3D-3D對應的空間變換,這對于構建投影AR系統來說是非常具有挑戰性的。這種校準過程通常需要使用照相機。
為了計算投影儀和真實物體之間的空間變換,業界已經提出并開發了許多校準方法。一種方法是通過使用照相機和投影儀在汽車的儀表板上顯示視覺數據。為了實現校準,攝像機和投影儀應牢固連接。可以對攝像機獲得的視覺數據進行處理,粗略判斷放映機車的外部特征(如相對空間位置和方向)。
攝像機還可以檢測汽車上的標記,從而評估攝像機和汽車之間的空間變換,并確定投影儀和汽車之間的空間變換。但這種方法的問題是,必須事先測量標記相對于汽車坐標系的位置和方向。商業投影AR系統Extend3D可以根據牢固連接到投影儀的相機傳感器來跟蹤一組數據標記。
用于在真實環境中真實物體上投影數字信息的系統
蘋果的發明提供了一種在真實環境中的真實物體上投射數字信息的系統。該系統包括可見光投影儀,其適于將數字信息投影到真實環境中的真實對象或其一部分上;照相機可以通過使用投影的數字信息來捕獲至少一個真實物體的圖像;深度傳感器內置在相機中,可以捕捉真實物體或其部分的深度數據;處理組件,其可用于基于一個以上的圖像和深度數據來計算可見光投影儀和真實對象之間的空間變換。
根據特定的安裝模式,在優選實施例中,該方法包括基于已知真實對象的3D模型評估RGB-D相機系統和真實對象之間的空間變換,計算投影儀的固有參數以及投影儀和真實對象之間的空間變換(基于使用投影儀在真實對象或其一部分的一個或多個表面上投影一個或多個視覺圖像),以及使用RGB-D相機捕獲投影的視覺圖案的深度圖。
下面的圖1A示出了根據本發明的一個方面的示例性系統設置,其中RGB-D相機系統和可見光投影儀之間的連接不合適;圖3示出了根據本發明示例的方法流程圖。

蘋果專利數字1A和3(來源:patentlyapple.com)
下面的圖5示出了包括可見光投影儀和RGB-D相機系統的示例性手持設備,圖6示出了包括可見光投影儀和RGB-D相機系統的示例性耳機設備。

蘋果專利圖5和圖6(來源:patentlyapple.com)
下面的圖7示出了根據本發明的有利的硬件布置。

蘋果專利圖7(來源:patentlyapple.com)
專利聲明中列出的發明人之一是Selim BenHimane,英特爾前員工,計算機視覺機器學習高級工程經理;一位是高級機器學習經理丹尼爾·庫爾茨,他在蘋果收購虛擬現實初創公司Metaio時加入了蘋果。這項專利似乎最初是由Metaio公司申請的。
標簽:
蓋世汽車訊據外媒報道,大眾的電動車野心引發股市大規模交易,本周該公司股價漲幅高達32,這引起了德國最高市場監管機構的注意。
1900/1/1 0:00:00蓋世汽車訊據外媒報道,每輛寶馬iX將使用大約599公斤的回收塑料。(圖片來源:motor1)寶馬首次讓電動汽車擁有格柵,并且正在開發兩款新車型。
1900/1/1 0:00:002021年3月18日,由中國化學與物理電源行業協會動力電池應用分會聯合電池中國網共同舉辦的第二屆新能源汽車及動力電池(CIBF深圳)國際交流會在深圳隆重召開。
1900/1/1 0:00:00在3月17日召開的寶馬集團年度財報發布會上,寶馬集團公布了2021年增長和盈利宏偉目標。從2025年起,寶馬集團將推出“新世代”車型系列,從技術角度將豪華出行提升至全新高度。
1900/1/1 0:00:00蓋世汽車訊據外媒報道,主動安全測試設備和服務供應商Humanetics與自動駕駛系統驗證平臺供應商Foretellix聯合開發了用于ADAS和自動駕駛分析的工具鏈,
1900/1/1 0:00:00據乘聯會提供的全國汽車產銷數據顯示,2021年2月份國內SUV市場共銷售新車約556萬輛,環比下降438,同比暴漲4267。
1900/1/1 0:00:00