得益于近年來手機產業的快速發展,以及蘋果iPhone X創新式的引用3D攝像頭,讓3D傳感首次大規模進入了消費者的視線當中并得到快速發展。據MarketsandMarkets預估,人臉識別全球市場產值將從2017年的40.5億美元,成長至2020年的77.6億美元,可以預測市場的快速成長將帶動并加速各種行業在人臉識別的應用發展。
艾邁斯半導體先進光學傳感器部門執行副總裁兼總經理Jennifer Zhao
作為全球領先的先進傳感器解決方案設計和制造商,艾邁斯半導體(
ams AG)為消費、通信、工業、醫療和汽車市場提供傳感器(包括光學傳感器)、接口和相關軟件,同時針對近年來市場出現的結構光、主動立體視覺、ToF(Time of Flight)等主流3D傳感方案,艾邁斯半導體也根據客戶的不同需求,提出了不同的解決方案。
4月11日,在EEVIA第八屆年度中國ICT媒體論壇上,艾邁斯半導體先進光學傳感器部門執行副總裁兼總經理Jennifer Zhao發表了“艾邁斯半導體持續創新,靈活應對瞬息萬變的智能手機市場”主題演講,向業界媒體和工程師展示了艾邁斯的最新3D傳感解決方案以及應用理念。
結構光(Structured Light)是通過紅外激光器,將具有一定結構特征的光線投射到被拍攝物體上,再由專門的紅外攝像頭進行采集反射的結構光圖案,根據三角測量原理進行深度信息的計算。
結構光深度相機原理示意圖(注意E端發射的帶圖案的光源)
結構光法不依賴于物體本身的顏色和紋理,采用了主動投影已知圖案的方法來實現快速魯棒的匹配特征點,能夠達到較高的精度,也大大擴展了適用范圍。據艾邁斯半導體先進光學傳感器部門執行副總裁兼總經理Jennifer Zhao介紹,“結構光的距離和深度以及安全適應都是最佳的,當然它的價位也是最高的,這也就是為何目前只有高端手機選擇結構光的原因。”不過,結構光也有其缺點,比如室強光環境下基本不能使用,測量距離較近,容易受到光滑平面反光的影響等。
基于雙目立體視覺的深度相機類似人類的雙眼,和基于ToF、結構光原理的深度相機不同,它不對外主動投射光源,完全依靠拍攝的兩張圖片(彩色RGB或者灰度圖)來計算深度,因此有時候也被稱為被動雙目深度相機。
雙目立體視覺是基于視差,由三角法原理進行三維信息的獲取,即由兩個攝像機的圖像平面和北側物體之間構成一個三角形。一直兩個攝像機之間的位置關系,便可以獲得兩攝像機公共視場內物體的三維尺寸及空間物體特征點的三維坐標。所以,雙目視覺系統一般由兩個攝像機構成。
雙目立體視覺三維測量原理
左攝像機像面上的任意一點只要能在右攝像機像面上找到對應的匹配點,就完全可以確定該點的三維坐標。這種方法是點對點的運算,像平面上所有點只要存在相應的匹配點,就可以參與上述運算,從而獲取對應的三維坐標。
從目前來看,隨著
機器視覺理論的發展,立體視覺在機器視覺研究中發回來看了越來越重要的作用。Jennifer Zhao表示,“主動立體視覺比較適合覆蓋中等的距離,它的深度圖質量也是比較優良,但是精度沒有結構光好,由于比較簡單,價位比結構光更具有優勢,所以其受到一些客戶的青睞?!?br />
第八屆年度中國電子ICT媒體論壇暨2019產業和技術展望研討會現場
雙目立體視覺因為不需要像ToF和結構光那樣使用特殊的發射器和接收器,使用普通的消費級RGB相機即可。因此對相機硬件要求低,成本也低。另外,由于直接根據環境光采集圖像,所以雙目立體視覺在室內、室外都能使用。當然雙目立體視覺也有其自身缺點,對環境光照非常敏感。雙目立體視覺法依賴環境中的自然光線采集圖像,而由于光照角度變化、光照強度變化等環境因素的影響,拍攝的兩張圖片亮度差別會比較大,這會對匹配算法提出很大的挑戰。
立體視覺(左)和結構光(右)深度相機拍攝的圖像和對應的深度圖
除結構光、主動立體視覺外,艾邁斯還提供第三種3D傳感解決方案—ToF。ToF技術到底是什么?和現在大熱的結構光技術、雙目立體視覺技術到底有什么區別?ToF(Time of Flight,飛行時間)的基本原理是通過紅外發射器發射調制過的光脈沖,遇到物體反射后,用接收器接收反射回來的光脈沖,并根據光脈沖的往返時間計算與物體之間的距離。這種調制方式對發射器和接收器的要求較高,光速那么快,對于時間的測量有極高的精度要求。
ToF飛行時間法深度測量基本原理示意圖
由于測量光的飛行時間需要非常高的頻率和精度,早期的ToF設備在體積上一直存在問題,成本也高,所以較多用于工業領域。ToF的小型化極大依賴于近年來集成電路與傳感器技術上的突破,使得在CMOS芯片上對光脈沖相位的測量逐漸變得可行。有芯片上的解決方案,才有小型化和低成本的產品出現。不過,據Jennifer Zhao表示,“ToF方案比較適合中遠距離應用,目前艾邁斯的相關產品可以做到5M左右的距離?!?br />
自2017年9月,蘋果iPhone X首次將3D傳感技術運用到手機當中,也將該項技術廣泛地帶入大眾視野中,此后安卓手機廠商紛紛跟進。由于3D傳感較多集中在手機前置位置,因此應用廠商對其體積要求較高,而作為目前市場上三種3D傳感技術之一的ToF方案,由于系統集成比較簡單,其尺寸是所有方案里最小的。對此,Jennifer Zhao表示,“不管客戶選擇哪種方案,艾邁斯都有成熟的解決方案提供給客戶。而這也就是艾邁斯公司的理念?!?br />
艾邁斯在3D系統領域的優勢,不僅包括提供成熟的硬件,也有軟件和相關的應用軟件。在硬件方面,艾邁斯提供有光源、光路和先進的光學分裝,也有NIR和ToF的攝像頭。在軟件方面,艾邁斯與合作伙伴強強聯手,為客戶提供更全面的軟件方案。
目前艾邁斯3D傳感方案主要應用在手機前置的臉部識別,諸如設備解鎖、身份認證等,還有一些像面具、替身、VR、AR等應用。除此以外,艾邁斯還看到了更廣市場應用,其一,是智能家居和自動化,如在智能家居方面,艾邁斯3D傳感方案被用來檢測人的位置、手勢識別、虛擬影射等;在工業自動化方面,像3D位置傳感、自動化
機器人、模式識別等應用。其二,在汽車應用方面,一些汽車廠商也采用了艾邁斯3D傳感方案用于駕駛員的身份認證及駕駛員的監控和智能手勢識別等。