鋼桶搭接焊縫的微小特征實時識別

文/陳海永

摘要：針對鋼桶搭接焊縫，提出了一種基于結構光視覺的圖像特征識別方法。利用時空相關性原理和圖像形態學開運算，消除部分隨機噪聲，改善了圖像質量。利用峰值檢測法，確定了感興趣區域，提高了計算效率。進而利用列搜索和距離差分法實現了結構光帶的特征點提取，試驗結果達到了期望的性能。

關鍵詞：搭接；機器視覺；特征提取；激光結構光

0 引言

薄鋼板搭接電阻焊在鋼桶行業應用廣泛，開發搭接焊縫系統，對于降低工人勞動強度、改善生產條件、提高生產效率、優化焊縫質量有巨大的社會效益和經濟效益。

近年來，為了實現焊接過程的自動化和智能化，國內外研究者對焊縫圖像識別進行了大量的研究。德國斯圖加特大學FAbt教授、美國肯塔基大學張裕明教授通過分析熔池狀態圖像，研究其與焊接質量的關系；英國格拉斯哥大學Camarasa提出雙目視覺系統，能夠在雜亂場景下完成辨識、確定目標；西澳大利亞大學Mitchell，Ye等人實現了照度變化，反射等條件下的焊縫魯棒識別和焊縫定位。上海交大陳善本教授主要從熔池動態形狀來研究焊接；沈陽自動化研究所趙明揚教授等人主研機器人激光拼接焊接；清華大學都東教授等人主研彩色信息識別多層多道焊和管道焊接；中國科學院自動化研究所徐德研究員等人對V形焊縫焊縫圖像處理進行了深入研究；北京石油化工學院焦向東教授主研機器人水下焊接與球罐焊。目前這些研究主要集中于較寬特征明顯的焊縫圖像識別，但是對于搭接微小焊縫的識別仍需要進一步深入研究。為此，本文主要研究了搭接焊縫特征點的識別與提取算法。

1 視覺系統構成

基于結構光的搭接焊縫的特征點提取原理如圖1所示。整個視覺系統主要由CCD攝像機、線結構光發射器、濾光片等部件組成。CCD攝像機垂直于焊接工件，線結構光發射器發射出一條細長的紅色線條打在工件上，濾光片安裝在鏡頭前方以濾去部分干擾光信息。

由圖1中可以看出，線結構光打在焊接工件上，由于搭接引起的高度差值會使分別打在焊板上的兩段結構光呈平行狀態，需要找到焊接特征點即2條平行線的跳變點。

圖1 搭接焊縫視覺系統原理圖

2 圖像處理

圖像處理算法設計是視覺焊接系統中至關重要的環節，其本質就是對視覺傳感器采集到的圖像信息進行加工，保留有用信息，削弱或者去除噪聲干擾。對于搭接焊縫的微小特征識別，本文分別進行圖像濾波等一系列處理，處理流程如圖2所示。

圖2 圖象處理流程圖

2.1 圖像增強

在現場實時焊接過程中，由于存在弧光、強熱、飛濺等的干擾，導致圖像存在很多噪聲，這些噪聲主要是呈現線狀和塊狀的，采集的實時圖像如圖3(a)所示。所以，在進行圖像特征點提取之前需要進行圖像增強處理，即使需要的信息更加突出，反之，削弱不需要的信息，處理后的圖像更加易于機器的識別，有利于特征點的提取。

（a）原始圖象

（b）濾波后的圖像

圖3 采集的實時圖像

在實時獲取圖像信息時，基于時空相關性原理，考慮到條紋有一定的寬度，實時焊接運動速度等，在以ms級為單位的處理速度情況下，相鄰幀間圖像條紋在圖像中的位置變化緩慢，而圖像中飛濺噪聲則有很大的隨機性，因此，對圖像進行與操作：

     （1）

式中：Ft（i，j）為t時刻采集到的圖像；Ft（i，j）為t-1時刻采集到的圖像；F′t（i，j）為圖像進行與操作后的圖像。

這樣，圖像與運算后可以濾去由于引弧飛濺等引起的隨機噪聲的干擾，而條紋有一定的寬度，不會對線位置識別造成較大影響。

一般來說，圖像具有局部連續的性質，即相鄰像素的數值相近，而噪聲的存在使得噪聲處產生灰度躍變，對圖像局部存在的噪聲采用平均模板濾波，修正噪聲點的灰度值，實現圖像平滑。設f（i，j）為攝像機采集到的含有噪聲的圖像，經過鄰域的平均模板濾波處理后的圖像為g（i，j），則有g（i，j）=Σf（i，j）/N（i，j）∈M，M是所取濾波模板中鄰域中鄰近像素的坐標，N是鄰域中包含的臨近像素的個數。模板尺寸越大，處理后的圖像越模糊，本實施例濾波模板采用尺寸為3*3 的模板， 即為，中間黑圓點代表要處理的元素。濾波結果如圖3（b）所示。

通過兩幅圖像對比可以看出，圖像中局部塊狀的噪聲點得到了有效修正，鄰域灰度值變化平緩，平滑了圖像邊緣，削弱了焊接過程中弧光帶來的干擾。
2．2 圖像分割
圖像分割是將數字圖像分割為互不相交（不重疊）區域的技術和過程。圖像分割是圖像分析中的關鍵問題，通過圖像分割可以凸顯出圖像中感興趣的區域或景物。

2．2．1 圖像二值化

為了進一步凸現出感興趣目標的輪廓，需要對灰度圖像進行二值化處理。為了得到理想的二值圖像，須選取合適的閾值。而由于條紋中間較亮，兩邊較暗，所以整幅圖像不宜用一個相同的固定的閾值。

下面提出閾值選擇方法，最大類間差法（簡稱OTSU法）。OTSU算法計算簡單，不受圖像亮度和對比度的影響，因此在數字圖像處理上得到了廣泛的應用。它是按圖像的灰度特性，將圖像分成背景和前景兩部分。背景和前景之間的類間方差越大，說明構成圖像的兩部分的差別越大，當部分前景錯分為背景或部分背景錯分為前景都會導致兩部分的差別變小。因此，使類間方差最大的分割意味著錯分概率最小。設灰度圖像灰度級是L，則灰度范圍為［0，L-1］，利用OTSU算法計算圖像的最佳閾值為：

   （2）

變量說明：當分割的閾值為t時，w0為背景比例，u0為背景均值，w1為前景比例，u1為前景均值，u為整幅圖像的均值。
使以上表達式值最大的t值，即為分割圖像的最佳閾值。圖4為OTSU算法對圖像進行二值化處理的結果。

圖4 OTSU算法二值化圖像

2．2．2 圖像形態學

圖像二值化后，還存在部分干擾，為了進一步消除干擾，需要再次進行處理。采用形態學開運算，即先對圖像做腐蝕運算再做膨脹運算。腐蝕運算會去除圖像里面邊緣點離散點，膨脹運算會使存留下來的信息恢復原貌，這樣在不影響圖像輪廓基礎上濾除了噪聲。開運算可表示為：

  （3）

圖像開運算后的效果如圖5所示。

圖5 形態學開運算處理結果

2．3 提取特征點

2．3．1 確定感興趣區域

相機采集到的圖像，干擾遍布整個圖像區域上，而處理圖像所需要的區域只是含有結構光條紋的區域，有效提取感興趣區域，不但提高了穩定性，避免圖像其他區域的噪聲對圖像處理過程中造成的干擾，而且，較小圖像處理范圍，提高了算法的處理速度。

通過逐行計算結構光條紋亮度，找出2個峰值所在的行，2條紋縱向坐標分別記為y1，y2。此時，可以確定圖像感興趣區域（ROI），縱向方向范圍［min（y1，y2）－20，max（y1，y1）＋20］。由于搭接板的條紋征點處可能出現不連續斷點，采用最近鄰插值法獲取連續的條紋直線，即：

f（x，y）＝g（round（x），round（y））， （4）

式中：f（x，y）為濾波處理后的圖像；round為取整運算。最近鄰插值法計算簡單，程序運行耗時少，輸出結果不影響關鍵信息的處理。感興趣區域的確定與插值結果如圖6所示。

圖6 確定ROI

2．3．2 結構光條紋骨架提取

確定結構光條紋中心骨架最常用的方法有閾值法、極值法、重心法等。閾值法是以閾值大于等于一定值的左右兩像素為起始點和結束點，二者的平均位置為結構光條紋中心；極值法是以光強最大值點作為結構光中心骨架；重心法即為改進的極值法，首先采用極值法找到光強最大值位置，然后取此位置左右各k點， 求這k＋1點的重心，即認為是結構光條紋中心骨架。這3種方法單個像素點的提取不準確會對結果造成較大影響。

在ROI區域內，提取焊縫條紋中心線數組，本文采用逐列搜索法得到條紋的中心線數組。條紋打在焊板上會有一定的寬度，需要進行細化以提取列方向上唯一的條紋坐標。細化的基本思想就是保持圖形原有形狀的同時，去掉邊緣點，即保持圖像原有骨架，細化的目的即為提取出唯一的條紋中心線數組。基于條紋細化原理，筆者提出一種逐列搜索法得到條紋的中心線數組。

sum1＝2*（f（i，j－1）＋f（i，j＋1））， （5）

sum2＝f（i，j－8）＋f（i，j－6）＋f（i，j＋8）＋f（i，j＋6）， （6）

delta＝sum1－sum2， （7）

求取最大的delta值，此時對應的j值即為提取的對應輪廓的縱向坐標， 此時f（i，j）即為提取結果。

2．3．3 條紋有效性判斷

提取的特征點會由于噪聲等引起特征點較大的偏差，需要對提取的條紋骨架進行有效性判斷，確保提取的條紋特征點有效。求取每次提取的特征值得平均值，誤差大于30個像素即為大的跳變點，需要去除掉。

   （8）

式中：f（i，j）為提取到的特征點；aver為每提取一個特征點后進行的一次均值計算。剔除后的特征點值賦值為aver。

2．3．4 距離差分法提取特征點

經過插值法得到連續的條紋，又以逐列搜索法得到條紋骨架，下一步要解決的就是要確定焊接特征點，在圖像上顯示為2條條紋的轉折跳躍點。常用方法為通過梯度值尋找梯度最大點，但這種方法計算量大，影響系統的實時效果，本文采用一種通過距離差分法提取焊縫特征點。依次取相鄰10個點的圖像輪廓f值，進行距離差分計。

d＝［max（y1，y2）－min（y1，y2）］*5*Δ， （9）

    （10）

式中：d為2條距離疊加值；y1，y2為已提取出的2條條紋縱向坐標值；Δ為距離權值，用來修正距離疊加值偏差，取值范圍為0.7～0.9；D為圖像上連續點距離差值之和。

當滿足條件D＞d 時，即尋到焊接特征點，為修正疊加時坐標偏差，對i值進行修正，對此時，滿足條件的i＋6 值即為特征點橫向坐標值，（y1+y2）/2 為特征點縱向坐標值。

在現場焊接過程中，高頻噪聲等干擾大量存在，為進一步提高特征點提取的穩定性與可靠性，采用二階差分法進行修正補充。

Y（i，j）=f（i+2，j）-2*f（i+1，j）-f（i，j）。（11）

提取到的最大點處的二階差分值Y（i，j）處即為特征點。通過距離搜索法提取到的特征值與二階差分提取到的特征值進行比較，兩值差小于10個像素點即為合法，否則進行下一輪計算。

3 試驗結果

通過以上步驟處理，圖7中方塊即為焊接特征點提取結果。由圖中可以看出，激光條紋明顯分割為2條直線，焊接特征點即為由于鋼板搭接高度變化引起的直線跳變點。

圖7 特征點提取結果

為了驗證算法的實時性與可靠性，對焊接過程中特征點實時提取，分別對不同斜率的直線進行提取。通過控制執行機構運動，以1m/min的速度勻速移動傳感機構，提取特征點坐標，選取2條不同斜率焊縫如圖8a，b所示。對提取到的特征點的橫縱坐標進行擬合，得到跟蹤與擬合數據結果，提取到的X，Y數據見圖8c，d，e，f。從圖中可以看出，坐標實時提取精度較高，提取結果穩定可靠。算法處理速度較快，速度為14幀/s，能夠達到實時焊接要求。

（a）焊縫1

（b）焊縫2

（c）焊縫1的x坐標變化

（d）焊縫2的x坐標變化

（e）焊縫1的y坐標變化

（f）焊縫2的y坐標變化
圖8 提取到的x，y數據圖

4 結論

對于搭接焊接智能系統，圖像處理速度是關鍵，針對薄鋼板搭接焊縫，本文通過時空相關性原理與形態學開運算等一系列算法，完成對圖像增強降噪處理，繼而通過峰值檢測法確定感興趣區域，提高了運算效率，并采用逐列搜索法對條紋骨架進行了準確提取，最終利用列搜索和距離差分法得到特征點，處理速度較快。本文充分考慮了實時焊接過程中遇到的各種干擾，并結合結構光圖形圖像特點采用了一系列可靠的處理過程，處理速度較快，能滿足焊縫實時跟蹤的要求。