廢鋼分類中的計算機視覺算法應用探索

計算機視覺算法對廢鋼分類

數字技術正在改變工業的各個層面。作為特定數字技術的早期采用者，鋼鐵有機會引領所有重工業，以提高我們的可持續性和競爭力。本專欄是AIST成為鋼鐵數字化轉型中心戰略的一部分，通過提供各種平臺來展示和傳播鋼鐵制造特定的工業4.0知識，從大局概念到具體流程。

鋼鐵的再利用，被稱為廢鋼的再循環，是一項既定的日常業務。它已經成為一個數十億美元的國際貿易市場。完整的廢鋼供應鏈從收集點到分類和處理，包括物流和交付到工廠。對廢鋼的需求正在大幅增長，特別是對“清潔和優質廢鋼”的需求。因此，值得對這個問題進行更詳細的研究。

廢鋼的循環使用和熔煉車間的處理冶煉，無論是電弧爐(EAF)(2021年，近29%的鋼鐵是使用電弧爐生產的)還是氧氣轉爐(BOF)車間，都是一項不統一的、要求很高的活動，有自己定制的標準操作程序(SOPs)。廢鋼管理對鋼鐵公司具有重要的戰略意義，因為電爐操作中的廢鋼成本可以達到產品(板坯、鋼坯)運營成本的70%左右，所以要給與特別注意：

?廢鋼供應鏈的控制和管理：

°采購。

°處理。

°物流，包括循環經濟方法的解決方案。

°可持續性和可靠性。

?審查和優化所有權成本：

°等級的具體價格。

°廢鋼金屬料收得率。

°有關殘余元素的限制。

在幾何形狀、尺寸、清潔度、金屬化率、可用性和價格方面，有各種不同的鋼料質量。圖1和圖2記錄了廢鋼場的日常工作，解釋了情況和挑戰。

高質量鋼材的生產對機械性能，特別是先進和關鍵應用的鋼材對延伸率有嚴格的要求的。今天由長流程鋼鐵生產商主導，轉爐工藝的典型廢鋼利用率在20%到25%之間。到目前為止，在高端薄板產品領域，應用基于廢料的EAF技術的小型軋機概念尚未出現?？紤]到現有技術能力改進的全球趨勢和煉鋼過程中的脫碳舉措這兩個主要主題作為主要驅動因素，鋼鐵再利用和廢鋼回收的重要性是顯而易見的。眾所周知，在包括廢鋼回收在內的應用工藝技術方面，“鋼的純度水平”面臨著挑戰。

為了提供上述先進鋼種的解決方案，整理了以下信息和事實:在這方面集中了四大鋼鐵集團；主要應用市場是汽車，重點是成型性、表面質量和潔凈度：

?無間隙原子超低碳鋼。

?超級深拉性能。

?馬口鐵。

非晶粒取向，晶粒取向，包括一組為電動汽車應用而設計的新等級鋼；最后提到的鋼種等級在未來幾年顯示出巨大的市場潛力。

表1總結了這些鋼種的分析參數，以供一般參考。

表1 選定鋼種的分析范圍

對于Ni、Mo、Cr和Sn等非特定需要元素的最大含量，還有附加的規范，包括上述元素總量限制的定義。

其成形能力和變形能力取決于碳、氮和殘余元素含量，尤其是銅元素的含量水平。碳含量由采用RH-OB真空脫氣技術的工藝技術決定，銅和其他不穩定元素含量主要受廢鋼質量和直接還原鐵/熱壓鐵等原始材料的處理影響，在一定程度上也受生鐵的影響。這同樣適用于氮含量對鋼的影響，因為真空處理期間的去除氮的能力是有限的，并且取決于幾個邊界條件(主要是關于表面活性元素(S, O)的鋼分析)。相比之下，作為一般信息，用于建筑目的的螺紋鋼和線材質量可以承受更高的Cu含量(高達0.4%)和氮含量(150 ppm甚至更高)。

根據廢鋼來源的不同，廢鋼類型分為社會廢放和返回廢鋼。這些類可以有不同的性質。返回廢料通常含有較少的不需要的元素，因為它直接來自鋼鐵廠或制造廠。社會回收的廢料(例如，用過的家用物品、拆除或粉碎的二手車)可能含有許多不需要的元素，甚至含有大塊不需要的材料(例如，含有銅的電機部件)。

廢鋼通常用火車車皮運到鋼鐵廠。在卸料過程中，對廢鋼進行廢鋼類型、大小、形狀的質量檢查，檢查廢鋼是否有不需要的物件。在大多數鋼鐵廠，廢鋼的分類都是人工分揀的，然后送到廢鋼料場，然后從廢鋼料場吊起裝進廢鋼料籃，或者分類后直接裝進廢鋼料籃。這種手工分揀廢鋼的過程需要訓練有素的專家。

目前還沒有針對廢鋼分類的國際標準，這使得廢鋼分類工作容易出錯，還需要熟練的人員來處理特殊情況。這使得廢鋼分類任務更容易出錯，也更耗時。在機器學習技術的幫助下，廢鋼分類過程可以實現自動化，以提高效率和準確性，并將職工解放出來，從事更關鍵的任務，減少人為錯誤。自動化廢鋼分類也使操作員遠離危險的廢鋼料場環境，提高職工的安全。

在本文中，介紹了一種軟件解決方案的開發，該解決方案采用機器學習算法對廢鋼圖像進行分類。將含有廢鋼的鐵路車廂內的圖像作為訓練模型的圖像數據集。然后，訓練后的模型自動識別正確的廢鋼料場的廢鋼類型類型。該方法分類廢鋼類型所需的推理時間短，可用于廢鋼的實時檢測。

廢鋼分類的自動化可以看作是未來全自動化廢鋼場的必備手段石。目前在廢鋼料場還有其它的手工處理方法。利用圖像對廢鋼進行分類，可以確定出運廢鋼的質量。在機器學習技術的幫助下，檢測廢鋼中不需要的物料的過程也可以實現。接收到的廢鋼和分類結果被記錄下來并形成文件，稍后可以對這些數據進行分析，以獲得有用的信息并做出明智的業務決策。

文獻綜述

Wieczorek和Pilarczyk[2]開發了一種用于廢鋼自動分類的機器視覺系統。作者首先分析了電磁吊吸盤放置在廢鋼料籃上方的圖像幀，并使用背景估計算法從圖像中提取碎片。第二步是利用邊緣檢測、二值大目標分析、圖像分割和測量等方法將廢鋼從周圍背景中分離出來。對得到的圖像進行分析，以提供廢鋼的密度來估計廢鋼的體積。此外，廢鋼的化學成分、結構、來源和顏色也被視為分類的特征。

Qin等人提出了一個進一步的分類模型，[3]其中實現了Faster基于區域的卷積神經網絡(RCNN)算法來識別和評估廢鋼。輸入數據包含五種不同類型的廢鋼，每種廢鋼都有80個圖像，這些圖像被手動標記為五類。作者選擇了兩階段檢測器Faster RCNN，它有13個卷積層，13個ReLu層，4個合并層和一個全連接層。廢鋼檢測過程分為四個模塊，分別是基于vgg16網絡的特征提取、基于RPN網絡的建議和損失計算、基于ROI合并化層的固定ROI合并以及基于全連通網絡的幀回歸和目標分類。

Smirnov和Trifonov在廢鋼分類任務中測試了各種卷積神經網絡。作者使用了ResNet152V2、InceptionResNetV2、DenseNet201和NASNetLarge網絡，這些網絡已經在ImageNet數據集上進行了預訓練。每個預訓練的卷積神經網絡(CNN)基本上分為兩個部分：執行特征提取的卷積層和執行分類任務的全連接層。將邊角料圖像分為三個數據集:初級數據集、二值數據集和分組數據集。對于主數據集，NASNetLarge在9類分類中F1得分最高，而ResNet152V2和DenseNet201在4類分類中F1得分最高。NASNetLarge、ResNet152V2和InceptionResNetV2在組數據集中的四類分類中表現同樣良好。二值分類并沒有改善結果，但分組方法有改善效果。

Gao等人開發了一個系統，[5]利用機器學習技術檢測廢鋼中的銅雜質。一組數碼相機被放置在一條移動的傳送帶上，用于拍攝單個碎鋼片的照片。圖像被發送到一臺控制計算機，該計算機根據設計的程序對每張照片進行分析，并發送信號以機械方式從系統中排出銅雜質。圖像是在實驗室里收集的。在黑色背景上點擊一塊碎片，并標記為“Fe”。含有銅的部件，如電機、銅線等，被標記為“Cu”。作者使用了兩個CNN架構，VGGnet和Xception，其中的特征是原始的RGB圖像，提取了形狀特征的圖像(邊緣檢測)，原始圖像被裁剪以減少背景(作者認為，這可能會在數據中引入噪聲)。在異常和裁剪后的照片中，識別精度為“Cu”:90.6%，“Fe”:77.8%。

Tu等人[6]提出的框架結構也試圖對廢鋼及其等級進行分類。該框架有三個主要組成部分：車輛注意模塊(CaM)、廢鋼檢測模塊(SDM)和廢鋼分級模塊(SGM)。CaM從粗鋼廢鋼圖像中分割車廂區域。該模塊使用7個卷積層和5個合并層來獲得特征映射。此外，它還具有跳過結構，可以抑制復雜的背景區域，僅聚焦于車廂區域以進行進一步處理。SDM具有ResNet骨干網和多尺度特征聚焦塔型結構(MFFP)，用于對CaM獲得的圖像中的廢鋼進行分割和分類。最后，SGM利用貝葉斯公式的一種變體作為分類算法，確定廢鋼品級。它是基于統計信息，如比例和出現的廢廢鋼類型。

具體的廢鋼規格由政府組織和協會在每個地區制定，如廢鋼回收工業協會(ISRI)或歐洲回收工業聯合會(EURIC)。這些機構制定了廢鋼采購和貿易的指導方針，這些指導方針是鋼鐵公司或下屬服務中心制定企業專用廢鋼采購手冊的基礎。它們涵蓋了一般商業條款和運輸條件，然后就是廢鋼的規格尺寸，幾何形狀和可容忍殘余元素和雜質的分析要求。

表2總結了根據EURIC在可容忍的殘余元素含量水平上的不同的常見廢鋼等級。根據規定的廢鋼品位，最大容忍銅含量可達0.5%。

表2 根據歐洲廢鋼規范對廢鋼分析的目標限制 [7]

對于扁平材生產商來說，限制錫的含量也很重要，盡管從銅的角度來看，馬口鐵確實有很好的回收潛力，但它在加料混合物中的最大體積量是需要限制的。

具體的企業廢鋼采購準則通常更為嚴格。例如，美國鋼板生產商將銅的最高含量限制在0.2%。因此，實施了一種策略，即在鋼板作業中利用鋼鐵生產中產生的廢鋼，而含有較高雜質水平的社會廢鋼則用于螺紋鋼和線材生產。

在審查熔煉車間操作和廢鋼成分均勻性的一致性時，Kirmse等人詳細闡述了廢鋼中典型的不穩定元素限制沒有達到。通過對質量平衡進行重新計算，可以觀察到超出和低于預測水平的時間序列。這些結果限制了廢鋼管理中的成本最小化方法，或者至少反映了在這方面缺少分析規范而造成一定的殘余元素超標的風險。

Hornby討論了對廢鋼利用的全面審查，重點是總擁有成本(TCO)方法。[9]詳細說明了低成本廢鋼并不直接導致低成本鋼鐵；更重要的是，金屬化率和收得率需要納入整體TCO方法。波動的原材料價格需要動態調整收費組合。

方法

本節詳細介紹廢鋼料場擬議的廢鋼分類方法。首先，對數據集進行描述，然后使用深度學習算法進行分類。最后，提出了一個完整的管道系統，從獲取圖像在廢鋼堆場，結果如何顯示給廢鋼料場操作員通過一個網絡應用程序的屏幕上。討論了訓練深度學習模型的最佳實踐。廢鋼分類應用也可以集成到廢鋼管理系統中。完善的廢鋼管理系統的主要功能是收集廢鋼料場的工藝和材料相關信息。該工具配備了創新的人工智能方法和數學模型，以評估跟蹤信息，從而大大提高了每噸廢鋼的整體使用效率。

I. 數據集

確定了兩種由操作員手動進行廢鋼分類的情況：

i. 鐵路貨車上即將到來的廢鋼。確定了14種不同類型的廢鋼，數據集是在連續四個月的時間內組成的。由于需要選擇和手動注釋的圖片總數約為90,000張，因此將每種廢鋼類型的100-250張圖像定義為目標。采集圖像的實際分布如圖3所示。不平衡的數字是因為一些廢鋼類型比其他的更常見。這個數據集也被稱為俯視圖圖像。

圖用鐵路貨車運送廢料的圖像和廢鋼種類的分布

ii. 廢鋼料籃。識別出七個不同的類別，并如上所述組成數據集。廢鋼類型分布如圖4所示。這個數據集也被稱為側視圖圖像。

圖圖像的廢鋼被裝入料籃和分配廢鋼類型

II. 使用的機器學習算法

在過去的幾年里，研究人員已經投入了大量的精力來提出更快、更準確的目標檢測算法。到目前為止，基于CNN的算法在解決目標檢測問題方面優于其他方法。CNN可以在多維數據上高效地發現模式?？茖W界已經提出了幾種基于CNN的算法?；趨^域提議的算法，即R-CNN及其變體，為目標檢測提供了較高的準確性。該算法生成潛在的邊界框;使用支持向量機(SVM)對每個邊界框進行評分，并使用神經網絡進行特征提取。這種特征提取和多級復雜管道的使用使得這些算法非常耗時。另一方面，使用YOLOv5 (You Only Look Once)算法，訓練和推理速度可以在精度上有一個小的權衡。它只使用一個CNN，一次掃描整個圖像。它預測物體的位置以及同時在每個位置找到正確物體的概率。這種統一的方法使得YOLOv5算法在目標檢測方面速度非?？?。[11]因此，我們選擇YOLOv5算法作為廢鋼分類的深度學習算法。

利用廢鋼料場圖像對廢鋼進行分類是一個有監督的機器學習問題。廢鋼料場圖像需要標記以訓練YOLOv5算法。每個圖像文件都應該附帶一個文件，其中包含圖像中對象的位置和名稱。這種手動標記圖像中對象的過程稱為圖像標注。圖像標注是關鍵步驟之一，因為它設定了廢鋼的標準。這有助于模型提供較高的準確性。如果注釋沒有緊密地打包料要檢測的對象，預測將受到負面影響。

由于工作環境的原因，在廢鋼料場拍攝的圖像通常質量較差?；覊m、光照條件和相機產生的噪聲等幾個因素都會降低圖像質量。如果在用于訓練之前對圖像進行預處理，則機器學習模型可以在準確性和計算時間方面提供最佳結果。

像YOLOv5這樣的深度學習算法有大量的參數。具有大量參數的復雜算法需要龐大的訓練數據集來訓練模型。[12]廢鋼料場收到的廢料種類在數量上差別很大。這使得訓練數據集不平衡。一些廢料類型可能沒有足夠的圖像用于訓練。有限的訓練樣本或傾斜的數據集會導致算法的過擬合。[13]

為了克服這個問題，使用一種稱為圖像增強的技術從現有圖像創建了多個變體，如圖5所示。增強提供了幾個優點，以便可以創建所需數量的樣本圖像，從而避免機器學習模型的過擬合。所應用的增強類型的選擇應使所得到的圖像可以預期在廢鋼料場中看到。在這個項目中使用的變換是幾何(水平翻轉，垂直翻轉)，色彩空間(亮度和對比度，hsv移位)和模糊變換(高斯模糊和運動模糊)。新生成的圖像被自動標注。

圖原始圖像(左)的增強圖像(右)

模型集合：

不同訓練模型的集合在對抗單個模型的偏差方面特別有幫助。因此，通過投票策略將一組模型(3/5)的結果組合起來。結果表明，整體模型的性能優于單一模型。請參閱結果部分，以查看其準確性的比較。

III. 培訓系統(自動模型性能監測)

廢鋼分類系統可以適應不同的過程環境，通過訓練一個模型，專門為每一個環境。這是必要的，因為廢鋼分類的每個過程環境都是根據廢鋼及其背景場景、照明條件、灰塵和背景噪音而變化的。必須確定進行分類的環境，并與高分辨率攝像系統相連接。獲取的圖像將被發送到客戶數據庫，從那里它們可以發送到具有相關元數據(唯一圖像ID)的檢測引擎。檢測引擎將把分類輸出(預測的廢鋼類別和預測的置信度)發送到廢鋼料場操作員可以訪問的用戶界面。結果也將存儲在數據庫中，以保持可視化文檔。架構的示意圖可以在圖6中看到。

圖廢鋼分類系統的體系結構

深度學習系統的優勢在于，它們會隨著訓練數據的增多而變得更好。為了維護一個即使在復雜情況下也能表現良好的健壯系統，部署的模型將定期使用最新的圖像進行重新訓練。除了預測的廢鋼類別外，該模型還給出了一個置信度，以表明它對其預測的置信度?？蛻魧⒈灰笸ㄟ^網絡用戶界面提供對低信心的圖像的反饋。分類后的圖像將顯示給客戶，客戶被要求將分類標記為正確或錯誤。如果不正確，將要求用戶輸入正確的類。這些反饋圖像將用于下次訓練模型。

結果

為了獲得最佳的廢鋼分類效果，進行了多次試驗。超參數調優和向數據集中添加~2%的背景圖像是改善結果的重要步驟。背景圖像包括來自廢鋼料場的任何不包含目標廢鋼類型的圖像。如方法部分所述，訓練圖像數量不足的類的度量也通過圖像增強得到改善。最佳模型(模型I)的結果如表3所示。

表3 頂視圖圖像的廢鋼檢測測試指標

從圖7可以看出，有些類的準確率高于其他類。這種區別是因為一些廢鋼類型在外觀上是同質的，例如，彎曲，而另一些則是異質的，彼此混淆?；煜仃囎C實了這一點，例如，混合廢料類主要與HMS混淆，汽車零件也是如此。為了解決這個問題，使用了一個模型集合。這個集合結合了來自五個不同訓練模型的預測類，這些預測類按置信度加權。從表3和圖7中的混淆矩陣可以看出，使用集成(模型II)可以改善異構類的結果。

圖測試集頂視圖圖像的混淆矩陣：模型I的矩陣(左)和模型II的矩陣(模型集合)(右)

表3所示的結果是在285張圖像的小測試集上進行的，該測試集用于選擇最佳模型。為了更好地了解模型在廢鋼料場中的表現，我們隨機從每個月選擇100張圖像，并手動對其進行注釋，組成了一個由700張圖像組成的測試集。

圖8顯示了7個月時間內該集合的分類率(=正確檢測次數/標簽總數)?；疑摼€之間的四個月是拍攝訓練圖像的時間段(訓練數據和測試數據之間沒有任何重疊)。在此期間，分類率較高，這意味著需要持續的定期培訓，因為廢鋼可能隨著時間的推移而不同，如果是來自不同的供應商。

圖測試數據的每個廢鋼類型的分類率(地面真實值)

EAF料籃加料的分類結果及實例見表4。由于側視圖數據集只有7個廢鋼類型，單個模型的性能已經足夠好了。如果將來添加更多的類，也可以將集成用于側視圖圖像數據集。

表4 邊視圖圖像的廢料檢測測試指標

圖9顯示了該分類器的一些輸出示例。標簽和置信水平可以存儲在數據庫中，而輸出的注釋圖像可以在屏幕上顯示給操作員。

圖在兩種情況下，廢鋼分類器使用類別標簽和置信度檢測廢鋼的示例：俯視圖圖像(左)和側視圖圖像(右)

結論

考慮到由于環保降碳努力而增加的基于廢鋼的電爐鋼產量的市場趨勢，對廢鋼分析的精確知識的必要性對于生產先進鋼種至關重要。提出了一種基于計算機視覺的廢鋼分類系統。測試了最先進的目標檢測算法來構建分類器。與單一模型相比，應用模型集成技術改善了更多異構類的結果。由于YoloV5以其速度而聞名，該模型適合部署在生產中，并且可以以圖片，視頻和流的形式攝取數據。提出了一個整體系統，其中持續的反饋和訓練將隨著時間的推移提高模型的性能。此外，該系統可以在廢鋼料場的多個場景中部署。未來的工作包括與廢鋼料場密切合作，并將更多的類納入EAF桶的充電方案，因為這可以幫助操作員跟蹤指定的配方。下一步還包括在廢鋼料場檢測外來/不需要的物體。

參考文獻

1. “2022 World Steel in Figures,” World SteelAssociation, 2022.

2. T. Wieczorek and M. Pilarczyk, “Classificationof Steel Scrap in the EAF Process Using Image Analysis Methods,” Archives ofMetallurgy and Materials, Vol. 53, 2008, pp. 613–618.

3. Y. Qin, W. Chen, P. Zhang, S. Zhang, S. Chen andL. Huang, “Research on Scrap Steel Evaluation Technology Based on Faster-RCNN,”2nd International Conference on Machine Learning and Computer Application,Shenyang, China, 2021.

4. N.V. Smirnov and A.S. Trifonov, “Deep LearningMethods for Solving Scrap Metal Classification Task,” 2021 InternationalRussian Automation Conference, Sochi, Russian Federation, 2021.

5. Z. Gao, S. Sridhar, E. Spiller and P. Taylor,“Applying Improved Optical Recognition With Machine Learning on Sorting CuImpurities in Steel Scrap,” Journal of Sustainable Metallurgy, Vol. 6, 2020,pp. 785–795.

6. Q. Tu, D. Li, Q. Xie, L. Dai and J. Wang,“Automated Scrap Steel Grading via a Hierarchical Learning-Based Framework,”IEEE Transactions on Instrumentation and Measurement, Vol. 71, 2022, pp. 1–13.

7. “European Steel Scrap Specification,”https://www.euric-aisbl.eu/facts-figures/standards-specifications, accessed 24February 2023.

8. C. Kirmse, S. Bangel and M. Christ,“Probabilistic EAF Charge-Mix Optimization Using Machine Learning Based ScrapCharacterization,” SteelSim Conference Proceedings, 2021.

9. S. Hornby, “Mini-Mill Burdening for MaximumEfficiency and Yield?” Iron & Steel Technology, Vol. 12, No. 1, 2015,pp.50–62.

10. R. Girshick, “Fast R-CNN,” arXiv, 2015.

11. J. Redmon, S. Divvala, R. Girshick and A.Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” arXiv,2015.

12. X. Zhu, C. Vondrick, C.C. Fowlkes and D.Ramanan, “Do We Need More Training Data?” International Journal of ComputerVision, Vol. 119, No. 1, 2015, pp. 76–92.

13. D.M. Hawkins, “The Problem of Overfitting,” J.Chem. Inf. Comput. Sci., Vol. 44, 2004, pp. 1–12.

作者

A. Dhami：SMS digital GmbH, Düsseldorf, Germany

C. Vaghela：SMS digital GmbH, Düsseldorf, Germany

A. Asaro：SMS digital GmbH, Düsseldorf, Germany

D. Yuan

G. Pravisani：SMS group S.p.A., Tarcento, Italy

J. Kempken：SMS group GmbH, Düsseldorf, Germany

C. Kirmse：Senior Data Scientist, SMS digital GmbH,Düsseldorf, Germany christoph.kirmse@sms-digital.com

唐杰民2024年元月中旬在安徽黃山屯溪翻譯自某國《鋼鐵技術》本月期刊。水平有限，翻譯不準確指出請各位看官給予指正，鐳目公司在廢鋼自動化檢測上走在前列，這是我國驕傲的技術，相信會在祖國大地全面使用，也會走向世界的。

審核編輯：黃飛