中國是一個制造大國,每天都要生產(chǎn)大量的工業(yè)產(chǎn)品。用戶和生產(chǎn)企業(yè)對產(chǎn)品質(zhì)量的要求越來越高,除要求滿足使用性能外,還要有良好的外觀,即良好的表面質(zhì)量。但是,在制造產(chǎn)品的過程中,表面缺陷的產(chǎn)生往往是不可避免的。
人工檢測是產(chǎn)品表面缺陷的傳統(tǒng)檢測方法,該方法抽檢率低、準確性不高、實時性差、效率低、勞動強度大、受人工經(jīng)驗和主觀因素的影響大,而基于機器視覺的檢測方法可以很大程度上克服上述弊端。
美國機器人工業(yè)協(xié)會(RIA)對機器視覺下的定義為:“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像,以獲得所需信息或用于控制機器人運動的裝置”。
機器視覺檢測系統(tǒng)通過適當?shù)墓庠春蛨D像傳感器(CCD攝像機)獲取產(chǎn)品的表面圖像,利用相應(yīng)的圖像處理算法提取圖像的特征信息,然后根據(jù)特征信息進行表面缺陷的定位、識別、分級等判別和統(tǒng)計、存儲、查詢等操作。
視覺表面缺陷檢測系統(tǒng)基本組成主要包括圖像獲取模塊、圖像處理模塊、圖像分析模塊、數(shù)據(jù)管理及人機接口模塊。
圖像獲取模塊
圖像獲取模塊由CCD攝像機、光學鏡頭、光源及其夾持裝置等組成,其功能是完成產(chǎn)品表面圖像的采集。在光源的照明下,通過光學鏡頭將產(chǎn)品表面成像于相機傳感器上,光信號先轉(zhuǎn)換成電信號,進而轉(zhuǎn)換成計算機能處理的數(shù)字信號。
圖像處理模塊
圖像處理模塊主要涉及圖像去噪、圖像增強與復原、缺陷的檢測和目標分割。
由于現(xiàn)場環(huán)境、CCD圖像光電轉(zhuǎn)換、傳輸電路及電子元件都會使圖像產(chǎn)生噪聲,這些噪聲降低了圖像的質(zhì)量從而對圖像的處理和分析帶來不良影響,所以要對圖像進行預處理以去噪。
圖像增強目是針對給定圖像的應(yīng)用場合,有目的地強調(diào)圖像的整體或局部特性,將原來不清晰的圖像變得清晰或強調(diào)某些感興趣的特征,擴大圖像中不同物體特征之間的差別,抑制不感興趣的特征,使之改善圖像質(zhì)量、豐富信息量,加強圖像判讀和識別效果的圖像處理方法。
圖像復原是通過計算機處理,對質(zhì)量下降的圖像加以重建或復原的處理過程。圖像復原很多時候采用與圖像增強同樣的方法,但圖像增強的結(jié)果還需要下一階段來驗證;而圖像復原試圖利用退化過程的先驗知識,來恢復已被退化圖像的本來面目,如加性噪聲的消除、運動模糊的復原等。
圖像分割的目的是把圖像中目標區(qū)域分割出來,以便進行下一步的處理。
圖像分析模塊主要涉及特征提取、特征選擇和圖像識別。
特征提取的作用是從圖像像素中提取可以描述目標特性的表達量,把不同目標間的差異映射到低維的特征空間,從而有利于壓縮數(shù)據(jù)量、提高識別率。
表面缺陷檢測通常提取的特征有紋理特征、幾何形狀特征、顏色特征、變換系數(shù)特征等,用這些多信息融合的特征向量來可靠地區(qū)分不同類型的缺陷;這些特征之間一般存在冗余信息,即并不能保證特征集是最優(yōu)的,好的特征集應(yīng)具備簡約性和魯棒性,為此,還需要進一步從特征集中選擇更有利于分類的特征,即特征的選擇。
圖像識別主要根據(jù)提取的特征集來訓練分類器,使其對表面缺陷類型進行正確的分類識別。
產(chǎn)品缺陷檢測
產(chǎn)品缺陷檢測方法可以分為三種。
第一種是人工檢測法,這種方法不僅成本高,而且在對微小缺陷進行判別時,難以達到所需要的精度和速度,人工檢測法還存在勞動強度大、檢測標準一致性差等缺點。
第二種是機械裝置接觸檢測法,這種方法雖然在質(zhì)量上能滿足生產(chǎn)的需要,但存在檢測設(shè)備價格高、靈活性差、速度慢等缺點。
第三種是機器視覺檢測法,即利用圖像處理和分析對產(chǎn)品可能存在的缺陷進行檢測,這種方法采用非接觸的工作方式,安裝靈活,測量精度和速度都比較高。同一臺機器視覺檢測設(shè)備可以實現(xiàn)對不同產(chǎn)品的多參數(shù)檢測,為企業(yè)節(jié)約大筆設(shè)備開支。
差值檢測缺陷
待檢測物品的缺陷表現(xiàn)在圖像上,即為缺陷處的灰度值與標準圖像的差異。將缺陷圖像的灰度值同標準圖像進行比較,判斷其差值(兩幅圖灰度值的差異程度)是否超出預先設(shè)定的閾值范圍,就能判斷出待測物品有無缺陷。
表面缺陷類型
在實際應(yīng)用中,不同產(chǎn)品對缺陷的定義也不一樣。一般來說,產(chǎn)品表面缺陷分為結(jié)構(gòu)缺陷、幾何缺陷和顏色缺陷等幾種類型。
常見的工件完整性檢測屬于結(jié)構(gòu)缺陷檢測,尺寸規(guī)格檢測屬于幾何缺陷檢測,而印刷品質(zhì)量檢測中常需要進行顏色缺陷檢測。
問題和難點
基于機器視覺的表面缺陷檢測將是未來研究和發(fā)展的主要方向,目前,基于機器視覺的表面缺陷檢測理論研究和實際應(yīng)用等環(huán)節(jié)均有可喜的成果,但仍存在下面主要的問題和難點:
1、受環(huán)境、光照、生產(chǎn)工藝和噪聲等多重因素影響,檢測系統(tǒng)的信噪比一般較低,微弱信號難以檢出或不能與噪聲有效區(qū)分。如何構(gòu)建穩(wěn)定、可靠、魯棒的檢測系統(tǒng),以適應(yīng)光照變化、噪聲以及其他外界不良環(huán)境的干擾,是要解決的問題之一。
2、 由于檢測對象多樣、表面缺陷種類繁多、形態(tài)多樣、復雜背景,對于眾多缺陷類型產(chǎn)生的機理以及其外在表現(xiàn)形式之間的關(guān)系尚不明確,致使對缺陷的描述不充分,缺陷的特征提取有效性不高,缺陷目標分割困難;同時,很難找到“標準”圖像作為參照,這給缺陷的檢測和分類帶來困難,造成識別率尚有待提高。
3、機器視覺表面缺陷檢測,特別是在線檢測,其特點是數(shù)據(jù)量龐大、冗余信息多、特征空間維度高,同時考慮到真正的機器視覺面對的對象和問題的多樣性,從海量數(shù)據(jù)中提取有限缺陷信息的算法能力不足,實時性不高。
4、與機器視覺表面檢測密切相關(guān)的人工智能理論雖然得到了很大的發(fā)展,但如何模擬人類大腦的信息處理功能去構(gòu)建智能機器視覺系統(tǒng)還需要理論上的進一步研究,如何更好的基于生物視覺認識、指導機器視覺的檢測也是研究人員的難點之一。
5、從機器視覺表面檢測的準確性方面來看,盡管一系列優(yōu)秀的算法不斷出現(xiàn),但在實際應(yīng)用中準確率仍然與滿足實際應(yīng)用的需求尚有一定差距,如何解決準確識別與模糊特征之間、實時性與準確性之間的矛盾仍然是目前的難點。
發(fā)展趨勢
隨著計算機技術(shù)、信息技術(shù)、電子技術(shù)、傳感器技術(shù)和仿生技術(shù)等的發(fā)展,機器視覺檢測方法也必將得到迅速的發(fā)展。技術(shù)和市場需求等因素決定了機器視覺表面缺陷檢測的發(fā)展趨勢為:
1、MARR理論對計算機視覺發(fā)揮了巨大作用,其核心是將視覺理解為3D重建的過程。但是,從3D場景到2D圖像是一個多對一的映射,在映射的過程中損失了深度信息;灰度是對場景的惟一的測量值,諸如光照、材料特性、朝向和距離等信息都無法反映;成像中由于噪聲及環(huán)境等因素的干擾,都會使圖像產(chǎn)生失真。為此,需要研究視覺檢測新理論和新方法,如發(fā)展主動視覺、增強視覺系統(tǒng)的智能學習能力等。
2、從生物視覺得到啟發(fā),吸收來自心理學、生理學等其他學科中生物視覺的最新研究成果,基于生物視覺機制為視覺檢測提供研究新思路,模仿生物視覺多尺度、層次性的視覺特點,結(jié)合視覺任務(wù),引入先驗高級知識的指導,同時將機器視覺、機器聽覺、機器嗅覺、機器觸覺等多信息相互融合,突破單一視覺信息的局限性,也將成為機器視覺檢測的發(fā)展方向之一。
3、研究更具魯棒性的圖像處理和分析算法,提高圖像處理的有效性和和執(zhí)行效率,降低算法的復雜度,提高識別的準確性。在在線檢測系統(tǒng)中,要特別注重實時性,視覺本身具有內(nèi)在的并行性,為此,還在要理論、算法和技術(shù)等多方面研究視覺并行計算,提高視覺計算的速度。同時,進一步研究算法性能的評價方法,以對算法的效率和性能作了科學、準確的刻畫和評價。
4、研究完整3維場景重建方法。現(xiàn)有3維場景重建理論和算法基本都局限于對目標“可視”部分的重構(gòu),如果用Marr視覺計算理論來說,還主要停留在2.5維表達上,這種表達僅提供了物體可見輪廓以內(nèi)的3維信息。如何恢復物體完整表面的信息,即包括物體表面不可見部分,是一個復雜但也亟待解決的問題。
5、采用統(tǒng)一而開放的標準,構(gòu)建標準化、一體化和通用化的解決方案,標準化與個性化的進一步統(tǒng)一,研發(fā)可靠性高、維護性好、便于不斷完善和升級換代、網(wǎng)絡(luò)化、自動化和智能化更高的機器視覺系統(tǒng)是今后的發(fā)展趨勢。
總結(jié)
機器視覺系統(tǒng)的研究和應(yīng)用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、交通和安全等國民經(jīng)濟的各個領(lǐng)域,基于機器視覺的產(chǎn)品表面質(zhì)量檢測在現(xiàn)代自動化生產(chǎn)中得到了越來越多的重視和應(yīng)用。
機器視覺表面缺陷檢測系統(tǒng)中,圖像處理和分析算法是重要的內(nèi)容,通常的流程包括圖像的預處理、目標區(qū)域的分割、特征提取和選擇及缺陷的識別分類。每個處理流程都出現(xiàn)了大量的算法,這些算法各有優(yōu)缺點和其適應(yīng)范圍。如何提高算法的準確性、執(zhí)行效率、實時性和魯棒性,一直是研究者們努力的方向。
機器視覺表面檢測比較復雜,涉及眾多學科和理論,機器視覺是對人類視覺的模擬,但是目前對人的視覺機制尚不清楚,盡管每一個正常人都是“視覺專家”,但難以用計算機表達自己的視覺過程,因此構(gòu)建機器視覺檢測系統(tǒng)還要進一步通過研究生物視覺機理來完善,使檢測進一步向自動化和智能化方向發(fā)展。
人工檢測是產(chǎn)品表面缺陷的傳統(tǒng)檢測方法,該方法抽檢率低、準確性不高、實時性差、效率低、勞動強度大、受人工經(jīng)驗和主觀因素的影響大,而基于機器視覺的檢測方法可以很大程度上克服上述弊端。
美國機器人工業(yè)協(xié)會(RIA)對機器視覺下的定義為:“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像,以獲得所需信息或用于控制機器人運動的裝置”。
機器視覺檢測系統(tǒng)通過適當?shù)墓庠春蛨D像傳感器(CCD攝像機)獲取產(chǎn)品的表面圖像,利用相應(yīng)的圖像處理算法提取圖像的特征信息,然后根據(jù)特征信息進行表面缺陷的定位、識別、分級等判別和統(tǒng)計、存儲、查詢等操作。
視覺表面缺陷檢測系統(tǒng)基本組成主要包括圖像獲取模塊、圖像處理模塊、圖像分析模塊、數(shù)據(jù)管理及人機接口模塊。
圖像獲取模塊
圖像獲取模塊由CCD攝像機、光學鏡頭、光源及其夾持裝置等組成,其功能是完成產(chǎn)品表面圖像的采集。在光源的照明下,通過光學鏡頭將產(chǎn)品表面成像于相機傳感器上,光信號先轉(zhuǎn)換成電信號,進而轉(zhuǎn)換成計算機能處理的數(shù)字信號。
圖像處理模塊
圖像處理模塊主要涉及圖像去噪、圖像增強與復原、缺陷的檢測和目標分割。
由于現(xiàn)場環(huán)境、CCD圖像光電轉(zhuǎn)換、傳輸電路及電子元件都會使圖像產(chǎn)生噪聲,這些噪聲降低了圖像的質(zhì)量從而對圖像的處理和分析帶來不良影響,所以要對圖像進行預處理以去噪。
圖像增強目是針對給定圖像的應(yīng)用場合,有目的地強調(diào)圖像的整體或局部特性,將原來不清晰的圖像變得清晰或強調(diào)某些感興趣的特征,擴大圖像中不同物體特征之間的差別,抑制不感興趣的特征,使之改善圖像質(zhì)量、豐富信息量,加強圖像判讀和識別效果的圖像處理方法。
圖像復原是通過計算機處理,對質(zhì)量下降的圖像加以重建或復原的處理過程。圖像復原很多時候采用與圖像增強同樣的方法,但圖像增強的結(jié)果還需要下一階段來驗證;而圖像復原試圖利用退化過程的先驗知識,來恢復已被退化圖像的本來面目,如加性噪聲的消除、運動模糊的復原等。
圖像分割的目的是把圖像中目標區(qū)域分割出來,以便進行下一步的處理。
圖像分析模塊主要涉及特征提取、特征選擇和圖像識別。
特征提取的作用是從圖像像素中提取可以描述目標特性的表達量,把不同目標間的差異映射到低維的特征空間,從而有利于壓縮數(shù)據(jù)量、提高識別率。
表面缺陷檢測通常提取的特征有紋理特征、幾何形狀特征、顏色特征、變換系數(shù)特征等,用這些多信息融合的特征向量來可靠地區(qū)分不同類型的缺陷;這些特征之間一般存在冗余信息,即并不能保證特征集是最優(yōu)的,好的特征集應(yīng)具備簡約性和魯棒性,為此,還需要進一步從特征集中選擇更有利于分類的特征,即特征的選擇。
圖像識別主要根據(jù)提取的特征集來訓練分類器,使其對表面缺陷類型進行正確的分類識別。
產(chǎn)品缺陷檢測
產(chǎn)品缺陷檢測方法可以分為三種。
第一種是人工檢測法,這種方法不僅成本高,而且在對微小缺陷進行判別時,難以達到所需要的精度和速度,人工檢測法還存在勞動強度大、檢測標準一致性差等缺點。
第二種是機械裝置接觸檢測法,這種方法雖然在質(zhì)量上能滿足生產(chǎn)的需要,但存在檢測設(shè)備價格高、靈活性差、速度慢等缺點。
第三種是機器視覺檢測法,即利用圖像處理和分析對產(chǎn)品可能存在的缺陷進行檢測,這種方法采用非接觸的工作方式,安裝靈活,測量精度和速度都比較高。同一臺機器視覺檢測設(shè)備可以實現(xiàn)對不同產(chǎn)品的多參數(shù)檢測,為企業(yè)節(jié)約大筆設(shè)備開支。
差值檢測缺陷
待檢測物品的缺陷表現(xiàn)在圖像上,即為缺陷處的灰度值與標準圖像的差異。將缺陷圖像的灰度值同標準圖像進行比較,判斷其差值(兩幅圖灰度值的差異程度)是否超出預先設(shè)定的閾值范圍,就能判斷出待測物品有無缺陷。
表面缺陷類型
在實際應(yīng)用中,不同產(chǎn)品對缺陷的定義也不一樣。一般來說,產(chǎn)品表面缺陷分為結(jié)構(gòu)缺陷、幾何缺陷和顏色缺陷等幾種類型。
常見的工件完整性檢測屬于結(jié)構(gòu)缺陷檢測,尺寸規(guī)格檢測屬于幾何缺陷檢測,而印刷品質(zhì)量檢測中常需要進行顏色缺陷檢測。
問題和難點
基于機器視覺的表面缺陷檢測將是未來研究和發(fā)展的主要方向,目前,基于機器視覺的表面缺陷檢測理論研究和實際應(yīng)用等環(huán)節(jié)均有可喜的成果,但仍存在下面主要的問題和難點:
1、受環(huán)境、光照、生產(chǎn)工藝和噪聲等多重因素影響,檢測系統(tǒng)的信噪比一般較低,微弱信號難以檢出或不能與噪聲有效區(qū)分。如何構(gòu)建穩(wěn)定、可靠、魯棒的檢測系統(tǒng),以適應(yīng)光照變化、噪聲以及其他外界不良環(huán)境的干擾,是要解決的問題之一。
2、 由于檢測對象多樣、表面缺陷種類繁多、形態(tài)多樣、復雜背景,對于眾多缺陷類型產(chǎn)生的機理以及其外在表現(xiàn)形式之間的關(guān)系尚不明確,致使對缺陷的描述不充分,缺陷的特征提取有效性不高,缺陷目標分割困難;同時,很難找到“標準”圖像作為參照,這給缺陷的檢測和分類帶來困難,造成識別率尚有待提高。
3、機器視覺表面缺陷檢測,特別是在線檢測,其特點是數(shù)據(jù)量龐大、冗余信息多、特征空間維度高,同時考慮到真正的機器視覺面對的對象和問題的多樣性,從海量數(shù)據(jù)中提取有限缺陷信息的算法能力不足,實時性不高。
4、與機器視覺表面檢測密切相關(guān)的人工智能理論雖然得到了很大的發(fā)展,但如何模擬人類大腦的信息處理功能去構(gòu)建智能機器視覺系統(tǒng)還需要理論上的進一步研究,如何更好的基于生物視覺認識、指導機器視覺的檢測也是研究人員的難點之一。
5、從機器視覺表面檢測的準確性方面來看,盡管一系列優(yōu)秀的算法不斷出現(xiàn),但在實際應(yīng)用中準確率仍然與滿足實際應(yīng)用的需求尚有一定差距,如何解決準確識別與模糊特征之間、實時性與準確性之間的矛盾仍然是目前的難點。
發(fā)展趨勢
隨著計算機技術(shù)、信息技術(shù)、電子技術(shù)、傳感器技術(shù)和仿生技術(shù)等的發(fā)展,機器視覺檢測方法也必將得到迅速的發(fā)展。技術(shù)和市場需求等因素決定了機器視覺表面缺陷檢測的發(fā)展趨勢為:
1、MARR理論對計算機視覺發(fā)揮了巨大作用,其核心是將視覺理解為3D重建的過程。但是,從3D場景到2D圖像是一個多對一的映射,在映射的過程中損失了深度信息;灰度是對場景的惟一的測量值,諸如光照、材料特性、朝向和距離等信息都無法反映;成像中由于噪聲及環(huán)境等因素的干擾,都會使圖像產(chǎn)生失真。為此,需要研究視覺檢測新理論和新方法,如發(fā)展主動視覺、增強視覺系統(tǒng)的智能學習能力等。
2、從生物視覺得到啟發(fā),吸收來自心理學、生理學等其他學科中生物視覺的最新研究成果,基于生物視覺機制為視覺檢測提供研究新思路,模仿生物視覺多尺度、層次性的視覺特點,結(jié)合視覺任務(wù),引入先驗高級知識的指導,同時將機器視覺、機器聽覺、機器嗅覺、機器觸覺等多信息相互融合,突破單一視覺信息的局限性,也將成為機器視覺檢測的發(fā)展方向之一。
3、研究更具魯棒性的圖像處理和分析算法,提高圖像處理的有效性和和執(zhí)行效率,降低算法的復雜度,提高識別的準確性。在在線檢測系統(tǒng)中,要特別注重實時性,視覺本身具有內(nèi)在的并行性,為此,還在要理論、算法和技術(shù)等多方面研究視覺并行計算,提高視覺計算的速度。同時,進一步研究算法性能的評價方法,以對算法的效率和性能作了科學、準確的刻畫和評價。
4、研究完整3維場景重建方法。現(xiàn)有3維場景重建理論和算法基本都局限于對目標“可視”部分的重構(gòu),如果用Marr視覺計算理論來說,還主要停留在2.5維表達上,這種表達僅提供了物體可見輪廓以內(nèi)的3維信息。如何恢復物體完整表面的信息,即包括物體表面不可見部分,是一個復雜但也亟待解決的問題。
5、采用統(tǒng)一而開放的標準,構(gòu)建標準化、一體化和通用化的解決方案,標準化與個性化的進一步統(tǒng)一,研發(fā)可靠性高、維護性好、便于不斷完善和升級換代、網(wǎng)絡(luò)化、自動化和智能化更高的機器視覺系統(tǒng)是今后的發(fā)展趨勢。
總結(jié)
機器視覺系統(tǒng)的研究和應(yīng)用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、交通和安全等國民經(jīng)濟的各個領(lǐng)域,基于機器視覺的產(chǎn)品表面質(zhì)量檢測在現(xiàn)代自動化生產(chǎn)中得到了越來越多的重視和應(yīng)用。
機器視覺表面缺陷檢測系統(tǒng)中,圖像處理和分析算法是重要的內(nèi)容,通常的流程包括圖像的預處理、目標區(qū)域的分割、特征提取和選擇及缺陷的識別分類。每個處理流程都出現(xiàn)了大量的算法,這些算法各有優(yōu)缺點和其適應(yīng)范圍。如何提高算法的準確性、執(zhí)行效率、實時性和魯棒性,一直是研究者們努力的方向。
機器視覺表面檢測比較復雜,涉及眾多學科和理論,機器視覺是對人類視覺的模擬,但是目前對人的視覺機制尚不清楚,盡管每一個正常人都是“視覺專家”,但難以用計算機表達自己的視覺過程,因此構(gòu)建機器視覺檢測系統(tǒng)還要進一步通過研究生物視覺機理來完善,使檢測進一步向自動化和智能化方向發(fā)展。