復雜野外環境下油茶果快速魯棒檢測算法

周浩 1，唐昀超 2，鄒湘軍 1，王紅軍 1，陳明猷 1，黃釗豐 1

（1.華南農業大學 工程學院，廣東 廣州 510630；2.仲愷農業工程學院 城鄉建設學院，廣東 廣州 510080）

摘要：為了提高移動采摘機器人在復雜野外環境下檢測油茶果的速度和魯棒性，在 YOLOv4?tiny 網絡的基礎上提出YOLO?Oleifera 網絡。首先將兩個 1×1和 3×3的卷積核分別添加至 YOLOv4?tiny網絡的第 2個和第 3個 CSPBlock模塊之后，以有助于學習油茶果的特征信息和減少計算復雜度；接著使用 K?means++先驗框聚類算法代替 YOLOv4?tiny 網絡使用的 K?means先驗框聚類算法，以獲得滿足油茶果尺寸的聚類結果。消融實驗證明了網絡改進的有效性。分別測試光照和陰影環境下的油茶果圖像，實驗表明 YOLO?Oleifera網絡在不同光照條件下檢測油茶果具有魯棒性。此外，對比實驗表明被遮擋的油茶果因為語義信息的缺失而導致 Precision 和 Recall降低。將 YOLO?Oleifera 網絡的測試結果與 YOLOv5?s、YOLOv3?tiny和 YOLOv4?tiny 網絡進行比較，結果顯示 YOLO?Oleifera 網絡的 AP 最高，而且 YOLO?Oleifera 網絡占用硬件資源最小。此外，YOLO?Oleifera 網絡檢測圖像平均花費 31 ms，能夠滿足移動采摘機器人的實時檢測需求。因此，提出的 YOLO?Oleifera 網絡更加適合搭載在移動采摘機器人上進行檢測任務。

0 引 言

隨著人工智能技術和傳感器的發展，許多工作可以被智能機器人代替。在農業中，采集果實的生長信息是智慧農業中的一個重要環節，在果實生長過程中檢測和分析果實數量可以幫助記錄落果規律、預估產量和規劃市場[1]。因此，機器視覺及其相關算法應運而生，它的應用提高了復雜農業環境中作業機器人的效率、功能、智能和遠程交互性[2]。

自然環境下的果實生長環境復雜，所以檢測果實成為了農業工程研究領域的一個重要方向。在早期的研究中，普遍通過提取果實顏色、紋理、輪廓等特征的方法進行檢測[3?7]。盡管這些方法非常適合其設計的數據集，但通常僅僅針對特定形態的果實[8]。因此，有必要找到一種通用的特征提取網絡，以克服傳統圖像檢測算法的局限性。

近年來，深度學習已成為人工智能領域的一項重要技術，它可以自主學習相似事物之間的差異，并通過訓練非線性網絡將原始數據轉化為更高層次和更抽象的表達方式[9]?；谏疃葘W習的目標檢測網絡分為單階段檢測網絡和兩階段檢測網絡。一些研究采用了最新的兩階段檢測網絡對果實進行檢測，例如 Faster R?CNN 和Mask R?CNN[10?14]。然而，兩階段檢測網絡在提取目標區域時需要消耗大量的計算機資源，檢測速度仍有局限性，無法應用于果園現場實時檢測。與兩階段檢測算法不同，單階段檢測網絡可以直接預測最終的檢測結果，其中 YOLO 是最具代表性的實時目標檢測算法，它將圖像分為稀疏的網格并對每個網格單元進行多類別和多尺度的預測[15?21]。

以上的 YOLO 網絡雖然具有實時的檢測速度，但是它訓練時需要功能強大的 GPU 和大量的內存，大多數計算機面臨著硬件的挑戰。此外，訓練完后的網絡往往因為占用內存較大而對移動設備提出了更高的硬件要求。YOLOv4?tiny 網絡是 YOLOv4 的輕量化版本，它擁有更少的層數和更快的檢測速度，可以應用在便攜式設備上，并且訓練時占用的 GPU 資源更少。根據以上分析，本研究基于 YOLOv4 ?tiny 網絡，提出了改進后的YOLO?Oleifera 網絡用于解決復雜果園環境中的油茶果檢測問題。在實驗部分，本研究首先設計消融實驗證明了網絡改進的有效性；然后，為了表明 YOLO?Oleifera 網絡在不同光照條件下檢測油茶果具有魯棒性，本研究分別測試光照和陰影環境下的油茶果圖像；接著，本研究設計對比實驗探究 YOLO?Oleifera 網絡對不同遮擋程度的油茶果的檢測效果；最后，本研究將 YOLO?Oleifera 網絡的測試結果與 YOLOv5? s、YOLOv3?tiny 和 YOLOv4?tiny 網絡進行比較，并且根據 AP 值、檢測速度和網絡大小來分析哪個網絡更適合搭載在移動采摘機器人上。

1 材料與方法

1.1 圖像采集與擴充

本文選擇在油茶果成熟的 10 月份采集圖像，采集地點位于中國廣東省清遠市美林湖油茶果種植基地。采集圖像的設備為尼康 D5600 單反相機。在光照和陰影環境下使用尼康相機分別拍攝 500 張圖像，每張圖像包含 1~5 顆油茶果。拍攝的圖像包含以下情況：完整的油茶果和被遮擋的油茶果。根據遮擋程度，將油茶果分為輕微遮擋和嚴重遮擋；嚴重遮擋的情況包括油茶果被葉子、莖或其他油茶果遮擋超過 50%；其他的情況為輕微遮擋。部分油茶果圖像如圖 1所示。

將包含500 對1000 張圖像的整個數據集隨機分為訓練集和測試集。其中，訓練集由600 張圖像組成，其余 400張組成測試集。油茶果數據集分類如表1所示。

文獻[22]使用消融實驗表明，更多的訓練集可以提高基于深度學習的目標檢測網絡的泛化能力和魯棒性。然而，本文的原始訓練集僅有 600 張圖片。為了解決這一問題，對訓練集進行擴充。

首先，將圖片隨機縮放，隨機縮放因子的范圍在[1.1，1.2]。然后，在縮放圖片中隨機裁剪與原始圖像大小相同的圖片。接著，將原始圖片分別旋轉 90°和 270°。旋轉后的圖片能夠識別不同方向的油茶果，從而提高網絡的性能。通過以上方法將原始的訓練集進行 3 倍的擴 充 ，因 此 訓 練 集 從 原 始 的 600 張 圖 片 擴 充 到 了1 800張。

1.2 YOLOv4?tiny網絡

近年來，基于卷積神經網絡的深度學習技術大大提高了圖像檢測算法的魯棒性。在本研究中，針對油茶果的檢測提出了改進的 YOLOv4?tiny 網絡。YOLOv4?tiny網絡是在 YOLOv4 網絡的基礎上設計的，它具有更快的目標檢測速度，其精度可以滿足實際應用的需求，大大提高了在嵌入式系統或移動設備上部署目標檢測算法的可行性[23]。因此，YOLOv4?tiny 網絡更適合部署在采摘機器人上面。

YOLOv4?tiny 網絡使用 CSPDarknet53?tiny 網絡作為骨干網絡，CSPDarknet53?tiny網絡在跨階段部分的網絡中使用 CSPBlock模塊。與 YOLOv4 網絡的 ResBlock 模塊相比，CSPBlock 模塊可以增強卷積網絡的學習能力。為 了 進 一 步 簡 化 計 算 過 程，YOLOv4 ? tiny 使 用LeakyReLU函數作為 CSPDarknet53?tiny 網絡中的激活函數。在特征融合方面，YOLOv4?tiny 網絡使用特征金字塔網絡提取不同尺度的特征圖，進而提高目標檢測速度，而不使用 YOLOv4 網絡中的空間金字塔池和路徑聚合網絡。假設輸入的圖像大小為 416×416，其網絡結構如圖 2所示。

1.3 改進的 YOLOv4?tiny網絡

YOLO 系列網絡采用 K?means聚類算法得到特定要求的 9 個不同尺度的先驗框[24]。K?means 聚類算法是一種經典的無監督聚類算法，算法過程如下：

1）從樣本集中隨機選取 k 個樣本作為初始聚類中心 Ck = { c1 ,c2 ,…,c k }。

2）計算每個樣本到 k個聚類中心的距離，并將每個樣本點歸類于距離最近的聚類中心所對應的類中。

3）計算新形成的類的均值，并將其作為新的聚類中心。

4）重復步驟 2）和步驟 3），直到聚類中心的位置不再變化，生成最終的 k個聚類中心。K?means 聚類算法隨機選取初始聚類中心，這導致聚類結果出現了一定的隨機性，容易陷入局部最小值，影響先驗框尺寸的聚類效果。與 K?means 聚類算法相 比 ，K ?means++ 算 法 改 進 了 初 始 聚 類 中 心 的 選 擇機制，獲得的聚類結果更加穩定合理。因此，本文選擇K?means++聚類算法作為先驗框聚類方式。K?means++聚類算法的過程如下：

1）從樣本集中隨機選取一個樣本作為初始聚類中心 C1。

2）計算出每個樣本點 x 與當前已有聚類中心的最短距離D(x)，接著計算每個樣本被選為下一個聚類中心的概率P(x)：

3）用輪盤賭算法選出下一個聚類中心，并更新概率 P ( x )。

4）重復步驟 2）和步驟 3），直到選出 k個聚類中心。

5）執行 K?means聚類算法的步驟 2）~步驟 4）。

其中，輪盤賭算法是一種隨機選擇算法，如果 D ( x )越大，則樣本點 x 被選為下一個聚類中心的概率越大，在一定程度上避免了 K?means 算法由于隨機選擇聚類中心而造成聚類結果不穩定、易陷入局部最小值的缺點。

YOLOv4?tiny 網絡包含 21 個卷積層。與其他單階段檢測網絡相比，它擁有更少的卷積層。但是，更深的卷積層有利于學習目標特征。因此，本文在 YOLOv4?tiny 網絡的主干特征提取網絡中，在第 2 個和第 3 個CSPBlock 之后分別添加兩個 1×1 和 3×3 的卷積核，以開發更深的網絡結構。添加進去的 1×1 卷積核的卷積層可以增加網絡的非線性特征，而無需更改卷積層的接收場。同時，具有 1×1 卷積核的卷積層等效于跨通道參數池化層，該層允許跨通道信息的交互，從而提升網絡的學習能力[25]。添加的具有 3×3 卷積核的卷積層可以輸出不同大小和通道的特征圖，從而改善網絡的特征表達[26]。改進后的網絡主干特征提取網絡結構如圖3 所示。將使用 K?means++先驗框聚類算法和添加了兩個1 × 1 和 3 × 3 卷 積 核 的 YOLOv4 ? tiny 網 絡 稱 為 YOLO ?Oleifera網絡。

1.4 網絡訓練

訓練是在配備了 AMD Ryzen 5 3600 CPU、16 GB2 400 MHz內存和 GTX2070Super 8 GB 顯卡的臺式電腦上 進 行 。使 用 的 軟 件 工 具 包 括 CUDA 11.1、Dudnn、OpenCV 3.4.1計算機視覺庫和 Visua Studio 2017集成開發環境。

訓練時，以 416×416像素的圖像作為輸入，批次大小設置為 64，初始學習率為 1×10-3，網絡的動量和重量衰減分別設置為 0.9和 0.000 5。在訓練集上進行了 10 000次迭代大約需要 4 h。

訓練結束后，使用 Precision、Recall、AP 和檢測速度來評估網絡的性能。Precision和 Recall被定義如下：

式中：TP、FP 和 FN 分別表示正確檢測到的油茶果對象的數量（True Positives）、錯誤檢測到的油茶果對象的數量（False Positives）和錯過的油茶果對象的數量（FalseNegatives）。

AP 被定義為 Precision ?Recall 曲線下的面積，它可以顯示網絡在不同置信度閾值下的整體性能，定義如下：

AP 值會隨著 IOU 閾值的變化而變化，設置 IOU的閾值為 0.75。需要指出的是，如果沒有特別說明，后文中所有的深度學習網絡都是使用擴充的訓練集首次進行訓練，然后使用 200對測試集進行性能評估。

2 實驗與結果討論

2.1 兩處修改的消融實驗

本文設計了消融實驗以驗證改進的先驗框聚類算法和在 YOLOv4?tiny 網絡中添加卷積核的有效性。因此，原始的YOLOv4?tiny網絡、YOLO?deep網絡和YOLO?Oleifera網絡被分別訓練。其中，將僅添加了1×1和 3×3卷積核的 YOLOv4?tiny 網絡稱為 YOLO ?deep 網絡。訓練集和測試集均包含所有光照和陰影條件下的油茶果，并且不區分油茶果的遮擋程度。訓練結束后，Precision?Recall曲線如圖 4所示。

在 相 同 的Recall 條 件 下，YOLO ? Oleifera網 絡 的Precision 高 于 YOLO ? deep 網 絡 ，YOLO ? deep 網 絡 的Precision 高于 YOLOv4?tiny。三種網絡對應的 AP 值如表 2所示?？梢缘贸鼋Y論，通過添加 1×1 和 3×3 卷積核，YOLOv4?tiny 網絡的 AP 值提高了 3.11%，證明了更深層次網絡的有效性，它可以學習更加豐富的油茶果特征信息。通過使用改進的先驗框聚類算法，YOLO?deep 網絡的 AP 值提升了 1.75%，證明 K?means++聚類算法的聚類結果受初始聚類中心影響較小，更容易獲得滿足真實檢測目標尺寸的聚類結果。

2.2 改進的網絡在不同光照條件下的性能

對改進的網絡在不同光照條件下的魯棒性進行了研究。訓練集包含所有光照和陰影條件下的油茶果，將測試集分為 200張光照圖片和 200張陰影圖片并分別進行評估，以上都不區分油茶果的遮擋程度。表 3 顯示了改進網絡在不同光照條件下的檢測結果。在測試集的所有油茶果中，在陽光條件下的 Precision 達到 90.87%，與遮光條件下的 Precision（90.73%）相差不大。在陽光條 件 下 的 Recall 達 到 89.28%，同 樣 與 遮 光 條 件 下 的Precision（88.97%）相差不大?？梢缘贸鼋Y論，所提出的網絡對光照變化具有魯棒性，這是采摘機器人在復雜環境下作業的關鍵。

2.3 改進的網絡在不同遮擋條件下的性能

所有測試集圖片中的輕微遮擋和嚴重遮擋果實被分別統計出來。測試完成后，手工統計檢測情況。部分果實的測試結果如圖 5所示。

改進的網絡在不同遮擋條件下的檢測結果如表 4所示?？梢缘贸鼋Y論，在輕微的遮擋條件下，90.03%的油茶果被檢測出，比嚴重遮擋的高出 5.05%，表明一部分語義信息的丟失。因為嚴重的遮擋，注意到有部分果實沒有被預測框標記。如圖 5a）所示，部分果實被其他果實、樹葉或莖嚴重遮擋，以至于影響檢測效果。但是，這個問題仍然有解決方案。因為采摘機器人在采摘遮擋油茶果后，被遮擋的油茶果會出現，而且機器人在果園中可以移動空間位置，導致被遮擋的果實改善遮擋條件，并且被重新檢測出來。

2.4 YOLO?Oleifera網絡與其他深度學習網絡的比較

將 YOLO?Oleifera網絡與 YOLOv4?tiny、YOLOv3?tiny和 YOLOv5 ? s 網 絡 進 行 了 對 比 ，目 的 是 驗 證 改 進 的YOLO?Oleifera 網絡的性能。表 5 列出了測試的所有深度學習網絡的檢測結果。結果表明，在復雜的果園環 境 中，YOLO ? Oleifera 網絡的 AP 達到 92.07%，高于YOLOv3 ? tiny 網 絡（82.77%）、YOLOv4 ? tiny 網 絡（87.21%）和 YOLOv5?s網絡（90.14%）。

就檢測時間而言，YOLO ?Oleifera 網絡檢測每張圖片 平 均 花 費 31 ms，比 YOLOv4 ? tiny 網 絡 長 2 ms，比YOLOv3?tiny網絡短 5 ms，比 YOLOv5?s網絡短 24 ms，因此 YOLO?Oleifera 網絡與其他輕量網絡在檢測速度方面沒有明顯區別。

網絡大小是評估網絡應用在嵌入式或便攜式設備上的一個指標。越小的網絡可以降低采摘機器人的硬件要求。YOLO ?Oleifera 網絡的大小為 29 MB，均小于YOLOv4?tiny、YOLOv3?tiny 和 YOLOv5?s 的大小。值得注意的是，YOLO?Oleifera 網絡是 YOLOv4?tiny 網絡添加了 1×1 和 3×3 的卷積得來，先驗框聚類算法并不影響網絡的大小，結果卻顯示 YOLO?Oleifera 網絡最小。原因是添加了兩個 1×1 和 3×3 的卷積層，這樣可以在不改變網絡層接收場的情況下增加非線性度，從而避免了新結構的計算復雜性。

基于以上分析，可以得出結論：YOLO?Oleifera 網絡的 AP 要高于 YOLOv3?tiny、YOLOv4?tiny 和 YOLOv5?s 網絡。YOLO?Oleifera 網絡的檢測速度與其他網絡沒有明顯的區別，都可以滿足移動采摘機器人實時檢測的需求。YOLO?Oleifera 網絡的尺寸最小，只有 29 MB，這對移動采摘機器人提出了更低的硬件要求。因此，YOLO?Oleifera 網絡可以為油茶果采摘機器人的實際應用提供可靠的支持，滿足野外工作的需求。

3 結 論

根據復雜果園環境下的油茶果檢測需求，本文提出了一種基于 YOLOv4?tiny 網絡的 YOLO ?Oleifera 網絡用于檢測油茶果。網絡在以下兩個方面進行了改進：

1）使用 K?means++先驗框聚類算法代替 YOLOv4?tiny 網絡使用的 K?means 先驗框聚類算法，目的是避免K?means 算法由于隨機選擇聚類中心而造成聚類結果不穩定、易陷入局部最小值的缺點。

2）為了更有助于學習油茶果特征信息和減少計算復 雜 度 ，將 兩 個 1 × 1 和 3 × 3 的 卷 積 核 分 別 添 加 至YOLOv4?tiny 網絡的第 2 個和第 3 個 CSPBlock 模塊，以開發更深層次的網絡。

分別在光照和陰影的條件下，使用尼康相機采集現場油茶果圖片作為訓練集，并對其進行圖片擴充以提高目標檢測網絡的泛化能力和魯棒性。進行了實驗，以驗證提出的 YOLO?Oleifera網絡的性能：

1）改進的先驗框聚類算法和 YOLO?deep 網絡的消融實驗顯示了每種修改的有效性。通過添加 1×1和 3×3卷積核，YOLOv4?tiny 網絡的 AP 值提高了 3.11%。在YOLO?deep 網絡的基礎上，通過使用 K?means++先驗框聚類算法，YOLO?deep網絡的 AP值提升了 1.75%。

2）在光照和陰影條件下進行了遮擋實驗。實驗結果顯示兩者的 Precision 和 Recall 均沒有明顯差別，證明了網絡在不同光照條件下的魯棒性。

3）進行了不同遮擋條件下的實驗。在輕微的遮擋下，YOLO ?Oleifera 網絡的 Precision 和 Recall 分別達到91.99% 和 90.03%，分別比嚴重遮擋高 5.06% 和 5.05%。這主要歸因于嚴重遮擋導致語義信息的丟失。

4） 將 YOLO ? Oleifera 網 絡 與 其 他 深 度 學 習 網 絡（YOLOv5 ? s，YOLOv3 ?tiny 和 YOLOv4 ?tiny）進行比較。AP、檢測速度和網絡大小被用于評估這些網絡在果園中檢測油茶果的性能。對于相同的訓練集和測試集，YOLO?Oleifera 網絡的 AP 最高。同時，YOLO?Oleifera 網絡擁有較短的檢測時間，可以為移動采摘機器人提供卓越的實時檢測速度。此外，YOLO ?Oleifera 網絡的尺寸最小，只有 29 MB，這對移動采摘機器人提出了更低的硬件要求。因此，YOLO ?Oleifera 網絡可以為油茶果采摘機器人的實際應用提供可靠的支持，滿足野外工作的需求。

總體而言，YOLO ?Oleifera 網絡對復雜果園環境下的油茶果檢測具有魯棒性，更適合搭載在移動采摘機器人上。本研究可以為移動水果采摘機器人在復雜果園環境下檢測水果提供技術參考。

審核編輯：湯梓紅