工業機器視覺的應用及發展
工業機器視覺收集的各種生產數據是智能化生產的基礎,這些數據通過工業以太網等傳至工業服務器,由MES/DCS軟件系統進行數據處理分析,并與企業資源管理軟件(如ERP)聯動,提供最優化的生產方案或者定制化生產,柔性制造、智能智造才有可能。
從機器視覺到工業機器視覺
機器視覺這個概念的歷史盡管很短,但機器視覺設備的出現并不短。可以說,照相機的誕生就意味著機器視覺的萌芽,包括無聲電影也可以歸為機器視覺。如今到處可見的各種攝像頭,以及人們須臾不離手的手機都是機器視覺產品。現代物流更使得我們生活中的絕大部分商品都用到了機器視覺,如快遞商品與超市商品的二維碼就是最突出的例子。
從起源來說,機器視覺就是以機器代替人眼的視覺作用。
從發展來說,機器視覺所具備的能力已經超越人眼,僅就尺寸的精確度以及位置的準確度來說,機器視覺更具有優勢,而且能力仍在增長中。
從技術上來說,機器視覺作為一項綜合技術,集成了多種技術,如圖像處理、機械工程技術、控制、電光源照明、光學成像、傳感器、模擬與數字視頻技術、計算機軟硬件技術(圖像增強和分析算法、圖像卡、I/O卡等)。一個典型的機器視覺應用系統包括圖像捕捉、光源系統、圖像數字化模塊、數字圖像處理模塊、智能判斷決策模塊和機械控制執行模塊。
從系統上來說,機器視覺是一套圖像處理系統。它由圖像攝取裝置將被攝取目標轉換成圖像信號(即機器視覺產品),再將圖像信號,結合特定需求,根據像素分布和亮度、顏色等形態信息,轉變成數字化信號。如果僅以獲取數據為目的,至此已經完成,但是如果要根據獲取數據調動設備執行任務,則需要對數字信號進行運算,針對目標特征進行對比,如涂裝中的色差,指令設備繼續工作,或者轉入另一道工序。
簡單來說,機器視覺在工業上的應用,就是工業機器視覺。最常見的就是,以機器視覺代替人眼進行測量和判斷,更高級一些的可以輔助決策或自行決策。其特點就是利用機器視覺的特性,提高生產的靈活性和自動化程度。一些不適于人工作業的危險工況環境或者人工難以滿足要求的場景,都是機器視覺發揮特長的場合。當然,大批量枯燥的重復勞動,如分揀等,也是機器視覺的應用領域。可以說工業機器視覺的快速部署,正是提高生產效率和自動化程度的推進力量。
工業機器視覺的軟硬件及技術
工業機器視覺主要有光源、鏡頭、工業相機、圖像采集卡、圖像處理系統,算法與軟件平臺,以及其他外部設備組成。
工業機器視覺硬件
工業光源。光源是機器視覺中基礎的部件之一。發揮著照亮目標、突出特征,便于圖像處理的作用。同時,要具備克服環境光干擾、保證圖像穩定性的能力,以及作為測量或作為參照物的工具性能。特殊情況下,對物體特定部位予以亮度增強。
相比于普通的照明光源,它的照度、均勻性和穩定性指標更高。基本上要將被測物與背景做出明顯區分,保證工業鏡頭能獲得高品質、高對比度的圖像。
工業鏡頭。工業鏡頭與普通的照相機鏡頭相比,同樣在分辨率、對比度、景深以及像差等指標上,有著更高的要求。需要更小的光學畸變、足夠高的光學分辨率、豐富的光譜響應選擇等,以滿足不同生產環境的應用需求。
工業相機。它具有高的圖像穩定性、高傳輸能力和高抗干擾能力等。其功能是將光信號轉變成為可解釋的電信號,再將電信號模數轉換并交由處理器進行分析和識別。
圖1工業機器視覺產業鏈
目前常用的工業相機,按照芯片類型,基本上分為兩種,一種是CCD(Charge Coupled Device),一種是CMOS(Complementary Metal Oxide Semiconductor)相機。
就工業相機來說,按照不同的特性,有不同的分類方法。不同的分類方法,一般對應著不同的應用特點。如按照傳感器的結構特性分為線陣相機、面陣相機;按照掃描方式分為隔行掃描相機、逐行掃描相機;按照分辨率大小分為普通分辨率相機、高分辨率相機;按照輸出信號方式分為模擬相機、數字相機;按照輸出色彩分為單色(黑白)相機、彩色相機;按照輸出信號速度分為普通速度相機、高速相機;按照響應頻率范圍分為可見光(普通)相機、紅外相機、紫外相機等。
通常來說,工業相機在性能上更為穩定可靠;在使用上要便于安裝,且不易損壞;在工作強度上,要連續工作更長時間;在工作環境上,要適應更惡劣的環境;在反應速度上要更快,便于抓拍高速運動中的物體。
在圖像傳感器的掃描方式上是逐行的,隔行掃描是不適用的。
在幀率上,工業相機每秒可以拍攝十幅到幾百幅圖片,遠遠高于普通相機的2~3幅。
在數據輸出上,工業相機不僅輸出的是裸數據(raw data),而且其光譜范圍也往往比較寬,這是要適合高質量的圖像處理算法。普通相機的圖像與光譜范圍能適合人眼裸視就可以了。
圖像采集卡。圖像采集卡一般分為兩種,一種是模擬采集卡,一種是數字采集卡。模擬采集卡是將模擬視頻信號轉化成數字信號,也就是將模擬相機輸出的圖像數據進行采樣、量化并轉化成電腦可辨別的數字數據,再進行數字處理。而數字采集卡則將相機端的數字圖像信號由不同的格式協議,轉化成PCIE格式并被主機解讀、存儲和處理。在可見的未來,會有一種將采集與預處理能力集于一身的數字采集卡,合乎數據帶寬增高、預處理能力增大、采集傳輸可靠性增強、工業視覺標準接口發展及協議國際標準化加速等發展趨勢。
工業機器視覺軟件
圖像處理系統。通常情況下,原始圖像很難直接使用,一般都需要對原始圖像進行處理,也即二次加工。突出所需特征,減少不需要的特征,為進一步的決策做準備。
圖像處理系統的主要技術或者處理方式有多種。
主要的有二值化處理、灰度處理、圖像增強、圖像濾波等。
通常,數字圖像像素被分為256個灰度級別。如果將圖像只以黑(0)和白(255)兩種像素處理,得到的就是二值化圖像。結果,相應地圖像就被分成了需要使用的和不需要使用的兩部分。
這種處理方式,操作更簡單,運算和存儲的數據量也更小,系統速度可以得到更好優化。
灰度處理就是將RGB三種顏色的分量相同的彩色圖用同一個數值表示,即將彩色圖像變為灰度圖像,像二值化一樣,減少圖像數據運算量和存儲量。
圖像增強是將傳送和轉換過程中因受干擾而衰減的圖像,進行特征突出處理或抑制無用特征,立足于實用。
圖像濾波的目的是將圖像成形、傳輸、記錄過程中因受雜波(噪聲)干擾產生的圖像亮點與暗斑過濾掉,提高圖像質量,提升可用性。
圖像銳化實際上是一種邊緣增強,也即劃定圖像的清晰邊界,突出圖像的地物邊緣、補償圖像的輪廓。同圖像增強一樣使得圖像更清晰,只是作用的區域有所不同。
圖像的腐蝕和膨脹,簡單說就是將目標圖像縮小或放大。通常,兩種方法是配合使用的。
算法與算法開發平臺。算法一直在不斷進化中。第一代算法主要是進行模式識別的圖像處理,注重如何改善圖像質量。
第二代算法已經可以進行模式識別的圖像分析,并利用特征提取工具等多種分析方法識別目標圖像。
第三代算法已進化到圖像理解深度學習,形成了統一的的圖像處理工具,具備分類、分割、檢測和識別功能,應用空間得以拓展。
第四代算法可以稱之為云端智能計算。在第三代算法的基礎上,利用知識圖譜的大數據挖掘技術智能尋找工藝規則,建立生產專家庫。同時,通過數字孿生在賽博空間進行運營推理,將實際應用中發現的問題進行及時反饋,用于優化和指導工業生產。
算法開發平臺是基于圖像算子的視覺開發軟件集合。如基于算法組件的視覺軟件平臺、基于組態思想的視覺開發平臺、基于云端計算的視覺平臺等。它通過運行云平臺協議,可以進行工廠邊緣計算,由5G或專網上傳生產端數據,經過大數據處理,實現工廠智能化管理。
信息處理平臺。主要包括DSP處理平臺、x86處理平臺、AI處理平臺與云處理平臺等。
機器視覺軟件。總體上,軟件架構要匹配算力平臺,兩者密切相關。具體說,機器視覺軟件類似人的“大腦”,通過圖像處理算法完成對目標物的識別、定位、測量、檢測等功能。機器視覺軟件分為底層算法和二次開發的軟件包兩類。前者是包含大量處理算法的工具庫,用以開發特定應用,主要使用者為集成商與設備商。后者是封裝好的、用以實現某些功能的應用軟件,主要供最終用戶使用。
機器視覺的功能
工業機器視覺可以實現四種基本功能,即識別、測量、定位和檢測。
識別主要完成甄別目標物體的物理特征,包括外形、顏色、字符、條碼等表面特征。衡量識別精度的主要指標是準確度和速識度。主要應用于物料、工序與工位等的溯源,方法是讀取零部件上的字母、數字、字符(如條形碼、二維碼等)。
測量是通過以獲取的圖像像素信息標定為度量單位,精確計算出目標物體的幾何尺寸,主要應用于高精度及復雜形態測量。
定位是指獲取目標物體的空間位置信息,有二維或三維信息之別,主要是完成輔助操作,常用于元件對位,輔助機器人完成裝配、拾取等。
檢測是對目標物體的表面狀態進行檢測,從而判斷產品是否存在質量缺陷,如零部件外觀缺陷、污染物附著、功能性瑕疵等。
工業機器視覺主要應用消費電子行業
消費電子行業的產品主要包括平板電腦、筆記本、臺式機、傳統手機(淘汰中)、智能手機、電視和相機等7大類。
其中,智能手機憑借越來越多的消費應用,市場占比逐步攀升,目前已接近50%。
工業機器視覺主要應用在主板、零部件組裝、整機組裝這三大生產環節。
隨著消費電子產品越來越精密化,在元器件尺寸越來越小的同時,質量標準也在同步提高。因此,對于工業機器視覺的需求不斷放大。以5G智能手機為例,產品升級與技術升級,相應地需要機器視覺工具進行升級。
在主板和零部件組裝上,仍以2D視覺為主,3D視覺為輔。
在整機組裝上,仍以人力為主。機器視覺主要做外觀檢測,最多的是做玻璃檢測。
在缺陷檢測上,是機器視覺應用最廣的地方。其高精度、高速度的檢測能力,可很好完成對劃痕、破損、斑點、色差等的檢測。
半導體行業
半導體行業是工業機器視覺應用最早,且較為成熟的領域,這也和半導體行業迭代升級快速有關,其高端市場基本被海外廠商占據。
從另一方面說,這也和半導體器件精度非常高,人工檢測已不能發揮應有作用有關。如半導體的外觀缺陷、尺寸、數量、平整度、距離、定位、校準、焊點質量、彎曲度等檢測,尤其芯片制作中的檢測、定位、切割和封裝都需要工業機器視覺來主導。以切割為例,要求定位迅速準確。如果定位出錯,整個芯片就會報廢。整個切割過程也需要機器視覺系統進行全程定位引導。切割完成后則由機器視覺識別出非缺陷產品進入貼片流程。
圖2中國機器視覺行業發展歷程
之所以說是主導,即使是傳統的半導體封測設備,精度普遍要達到微米(0.001mm)到亞微米(1.0μm)之間,速度大約在每秒40~50平方厘米,誤報率5%~10%,2D機器視覺已完全被3D取代,更何況人眼。
先進封裝更因小尺寸、輕薄化、高引腳、高速度,大幅縮減芯片尺寸。3D機器視覺在其中發揮著巨大作用,3D視覺檢測設備市場正處在高速增長中。
汽車行業
如今的汽車行業已實現高度自動化,工業機器視覺發揮著生產高效、質量保障、安全可靠的巨大作用。
機器視覺已貫穿整個汽車制造過程,包括從初始原料質檢到汽車零部件100%在線測量,再對焊接、涂膠、沖孔等工藝過程進行把控,最后對車身總成、整車質量進行把關。
機器視覺檢測系統可以完成工藝檢測、自動化跟蹤、追溯與控制等,包括通過光學字符識別(OCR)技術獲取車身零件編碼以保證零件在整個制造過程中的可追溯性,通過識別零件的存在或缺失以保證部件裝配的完整性,以及通過視覺技術識別產品表面缺陷或加工工具是否存在缺陷以保證生產質量。如汽車總裝和零部件檢測、焊接質量檢測、電器性能檢測、發動機檢測等。
另外,視覺引導技術則引導機器人進行最佳匹配安裝、精確制孔、焊縫引導及跟蹤、噴涂引導、風擋玻璃裝載引導等。這是汽車行業的主要應用領域,也是目前國內公司創新的主要領域。
而隨著新能源和智能汽車的電子零部件占比提升,工業機器視覺的作用越來越重要。
發展趨勢
數據顯示,2018年工業機器視覺技術市場規模已達 44.4億美元,預計2023年將達122.9 億美元,年復合增長率高達21%。
目前,機器視覺正由傳統工業視覺向深度學習工業視覺轉變,未來工業機器視覺的應用領域越來越寬廣。基于此,可將工業機器視覺看做AI的重要分支。
傳統工業視覺用一個不恰當的比喻來說,類似于“擺拍”,基本上是完成規定動作。具體說,目標物及其背景、光源、采集光學器材的參數等都是給定的,目標感知區域也是劃定的,數字圖像是按照要求進行處理的,提取什么信息數據是約定好的,輸出給哪臺設備也是設計好的。也就是說是按照視覺工程師的一系列設定去完成規定動作,很難適應隨機性強、特征復雜的工作任務。如果隨機出現了超過機器邏輯之外的復雜外觀缺陷檢測,也就無能為力。很明顯,它沒有主動的行為能力,也就是不具備AI的深度學習能力。
未來的工業機器視覺會與AI相結合,解決圖像視頻場景多樣、物體種類繁多,以及非受控條件下,目標物受光照、姿態、遮擋等多變量影響等問題,要獨立面對數據量巨大、特征復雜、部分應用需實時自主處理等深度場景。
從現狀來看,仍然存在以下制約因素。
一是端側算力成本越來越高。這和工業機器視覺的深度學習能力成正比,就像高級技工的工資高于學徒工一樣,工業機器視覺對算力硬件性能的要求越來越高,直接導致算力成本價格上升。另外,一臺獨立算力設備很難復用與共享,也是成本升高的重要因素。
二是單點系統維護成本過高。主要是設備調試、軟件運維、監控分析必須在工作場地完成所造成的。工業機器視覺在工廠的大規模應用,推高了維護成本。
三是數據孤島。圖像數據的處理也需要在工廠完成,有效數據難以被多個系統共享,導致系統功能更新緩慢,難以適應于移動應用場景。同時,工廠車間的有線互聯網建設成本過高、容量不足,無法滿足工業相機數據上行的數據容量需求。
四是通用性、智能性欠佳。在通用性上,一些集成應用專用性較強,一臺設備可能只適用于一種機器視覺設備或單一行業,研發成本高企。在智能性上,當庫存量較多時或者移動速度較快時,機器視覺工作的準確率明顯下降,設定的場景超過了它能接受的數值,更適合小規模、品類少和工位分揀與檢測,對于復雜堆疊物體則有心無力。這與其缺乏深度學習能力有關。因此,大規模工業應用尚待時日。
實際上,解決以上所有痛點是未來的發展方向。通用機器視覺,以及工業機器視覺的應用場景的不斷豐富,將解決成本難題,不僅降低總成本,而且24小時不間斷工作,使得成本大大降低。一旦可規模代替產線檢測人員、操作人員等,就具備了成本優勢。
更重要的是,工業機器視覺與其他自動化設備相結合,可以支撐更大規模的工業自動化應用,包括工業機器人、數控機床、自動化集成設備等。智能制造不可能離開工業機器視覺的大數據支撐。工業機器視覺收集的各種生產數據是智能化生產的基礎,這些數據通過工業以太網等傳至工業服務器,由MES/DCS軟件系統進行數據處理分析,并與企業資源管理軟件(如ERP)聯動,提供最優化的生產方案或者定制化生產,柔性制造、智能智造才有可能。
本文地址:http://m.xznet110.com/apply/d_1o3tt4c7uckt1_1.html
拷貝地址版權聲明:版權歸中國自動化網所有,轉載請注明出處!