高光譜成像系統：深度學習機載高光譜影像樹種分類研究

傳統的樹種識別主要依靠人工實地踏勘，費時費力。遙感技術的快速發展彌補了人工調查方法的不足，與其他數據源相比，機載高光譜影像具有豐富的光譜信息和空間信息，能探測到不同樹種間細微的差異，可實現高精度的樹種識別。

基于

一、引言

樹種識別是森林資源監測的重要內容之一，及時準確地獲取樹種信息是可持續森林管理和資源評估的基礎。傳統的樹種識別主要依靠人工實地踏勘，費時費力。遙感技術的快速發展彌補了人工調查方法的不足，與其他數據源相比，機載高光譜影像具有豐富的光譜信息和空間信息，能探測到不同樹種間細微的差異，可實現高精度的樹種識別。傳統的高光譜圖像分類算法(如支持向量機、隨機森林)需要提前對特征進行選擇，會造成信息損失并降低分類精度。深度學習提供一種端到端的學習范式，可以自主地從大量數據中學習復雜非線性特征，避免了傳統算法提取特征的復雜性和局限性。本文利用機載高光譜影像和深度學習方法對三個研究區中的樹種進行分類研究。

二、研究區概況

鐵崗水庫位于中國廣東省深圳市寶安區東南部(22°36′30″N，113°54′30″E)，地理位置如圖1所示。該地區屬亞熱帶季風氣候，氣候溫和，光照充足，雨量豐沛。多年平均氣溫 21.7℃，平均降水量 1664mm。平均海拔高度為23-76m。鐵崗水庫庫區的自然地帶性植被為季風常綠闊葉林，現存植被以人工次生林和人工林為主，在局部地區保存少量的次生灌木叢和濕地草甸，主要樹種有水松、樟樹、小葉榕、側柏、紅錐木、桉樹和高山榕等。濕地草甸主要由喬本科和莎草科構成。本研究選擇鐵崗水庫內一塊森林樣地作為研究區域，區域范圍如圖1紅框標注所示。

圖1鐵崗水庫研究區位置概況圖

2.1數據獲取

高光譜影像于2022年8月16日在晴朗無云的條件下獲取。本研究利用某研究院自主集成的無人機高光譜系統對研究區進行數據采集。高光譜系統搭載在四旋翼無人機上，由高光譜成像儀、IMU和GPS三大部分組成，具備體積小、重量輕、靈活機動、實時性強等優勢。高光譜傳感器是一種推掃式掃描儀，在400-1000nm光譜范圍內記錄112個波段，光譜分辨率5nm。表2-2總結了高光譜傳感器的詳細參數。飛行高度設置為離地面約100m，空間分辨率為0.1m，飛行速度設置為4m/s。在飛行期間，共產生了7條航帶，旁向重疊度為30%地面實測數據在飛行活動結束后進行集，共記錄了7種樹木。此外，本研究還利用高分辨率影像圖進行目視解譯，進一步擴充實地樣本。具體的地面真實標簽情況如表1示。

表1 鐵崗水庫數據集的地面真實標簽情況。

2.2數據處理

利用無人機高光譜系統獲取的數據有原始高光譜數據、POS信息數據和時間同步數據。原始數據無法直接使用，需進行一定的數據預處理，如異常值去除、輻射定標、幾何校正、大氣校正等。流程圖如圖2所示。

圖 2高光譜數據預處理流程圖

（1）去除異常值

利用無人機高光譜系統采集圖像的過程中，會在某些像元中產生異常值，如圖3所示，在某個波段處DN值會突然升高或突然降低。為此，需要通過算法對這些異常值進行去除。觀察異常值可發現其有兩大特點：①不是中位數；②與周圍的DN值相差較大。本文根據異常值的特點提出了一種算法對其進行去除。

以某一含有異常值的像元為例，去除的主要步驟如下：

①依次遍歷波段值，取其左右像素組成一個列表[xi-1,xi,xi+1]

②若該值為中位數，則繼續遍歷，若該值不是中位數，則計算與左右像素的相差值。

③如果Mean(xi- xi-1+ xi- xi+1)＞n′ xi+1- xi-1（其中n為閾值），則判斷該值為異常值，使用xi-1和xi+1的平均值來替代。

本文通過不同的算法對某一植被像元進行異常值去除，結果如圖3所示?！?/p>

圖 3異常值去除

可以看出，中值濾波雖然可以對異常值進行去除，但該算法會更改其他光譜值。SG濾波對異常值起到平滑作用，并不能完全去除異常值。MAD算法相比前兩種算法來說效果更好，但會將非異常值判斷為異常值。與其他算法相比，本文提出的去除算法效果更好，在去除異常值的過程中，不會更改其他非異常值。本研究利用該算法對整幅圖像進行處理，去除光譜曲線中的異常值。

（2）輻射定標

高光譜傳感器記錄的是數字量化值（DN值），其無單位，是非物理量。為此，需要進行輻射定標來將圖像的DN值轉化為輻射亮度值或者反射率值等物理量。本文利用高光譜傳感器廠商提供的定標公式和定標文件對圖像進行輻射定標。定標公式如式(9)所示

其中：L是傳感器測得地面目標的總輻射亮度，單位為mW/(cm2×sr× nm)；calibration_gain為輻射定標系數，由傳感器廠商提供，某一位置的定標系數如圖3(a)所示；

圖 3輻射定標參數

image_DN為傳感器記錄的原始DN值；dark_DN為對應像元的暗電流DN值，在采集高光譜數據時會同步記錄暗電流數據，某一位置的暗電流DN值如圖3(b)所示；integration_time為積分時間。圖4展示了植被像元輻射定標前后的光譜曲線差異。

圖 4輻射定標

（3）幾何校正

利用無人機高光譜系統獲取的原始數據不包含地理坐標信息，且在飛行過程中，由于無人機的姿態（俯仰、翻滾、偏航）、高度、速度和傳感器自身特性等因素，會造成高光譜原始影像中地物形狀扭曲和反向。因此需要對圖像進行幾何校正。本研究首先通過無人機平臺搭載的GPS和IMU解算出航跡坐標信息，然后利用航跡坐標信息、高精度DEM數據、時間同步文件構建模型，為高光譜影像賦予地理坐標信息并進行幾何校正。第7航帶幾何校正前后的影像如圖5。

圖 5幾何校正

（4）大氣校正

在數據采集的過程中，高光譜傳感器最終測得的地面目標的總輻射亮度并不是地表真實反射率的反映，其中包含了由大氣吸收，尤其是散射作用造成的輻射量誤差。大氣校正就是消除這些由大氣影響所造成的輻射誤差，反演地物真實的表面反射率的過程。本研究利用ENVI軟件自帶的FlAASH大氣校正模塊對每一條航帶進行大氣校正。圖6展示了植被像元大氣校正前后的光譜曲線差異。

圖 6大氣校正

（5）圖像掩膜與圖像拼接

本文的研究對象是森林樹種，但獲取的高光譜影像中含有水體、道路等非植被地物。為消除非植被地物對分類結果的影響，本研究首先計算影像的NDVI值，通過設置合適的閾值（如NDVI≥0.5），創建NDVI掩膜；然后將NDVI掩膜應用于高光譜影像中；最后得到只含有植被的高光譜影像圖。最后本研究利用ENVI軟件中自帶的鑲嵌模塊，對各個航帶進行拼接。最終得到的高光譜影像圖如圖7所示。各樹種的光譜曲線差異如圖8所示。

圖 7鐵崗水庫研究區高光譜影像圖

圖 8鐵崗水庫數據集的樹種光譜曲線

三、小結

針對鐵崗水庫數據集，本文提出了一種異常值去除算法，與其他經典去噪算法相比，本文提出的方法效果最好。為避免非植被地物對分類結果的影響，本文分別創建CHM掩膜和NDVI掩膜對TEF數據集和鐵崗水庫數據集進行處理，得到只包含植被的高光譜影像圖。

四、基于改進 Mask R-CNN 的單木分割

4.1 實驗過程與結果

4.1.1 數據集標注與劃分

本研究將正射影像圖作為神經網絡的輸入。數據集標注的流程如圖9所示，由于圖像中除樹木外，還包含草地、裸地等非樹種地物，它們會對數據的標注和模型的訓練造成干擾，如圖10(a)中紅框部分，其實際為草地，但在進行標注過程中，容易將其判別為樹木。

圖 9數據集標注流程圖

圖 10數據集標注

為解決這一問題，本文利用CHM數據生成高度掩膜(CHM≥5)，去除草地、裸地等地物，掩膜后的結果如圖10(b)所示，可以看到圖像中只保留了樹木。然后在圖像中隨機選擇大小為512×512的子圖像制作數據集，其中選擇100張子圖像作為訓練集，20張子圖像作為測試集。最后利用圖像標注工具對子圖像進行實例標注。然而，由于本研究使用的數據是具有地理坐標信息的RGB圖像(TIF格式)，標注工具并不支持這種格式的讀取。因此在數據集制作的過程中，本文不僅保存了TIF格的圖像，還保存了對應的PNG格式的圖像。利用標注工具對PNG格式的圖像進行實例標注，之后將獲得的標注結果與TIF圖像進行融合，完成數據集的標注。某一圖像的標注結果如圖10(c)所示。

4.1.2實驗結果

本文在特征提取部分選擇ResNet50作為主干網絡，并利用MaskR-CNN在大規模數據集上預先訓練好的模型權重進行訓練。本文從輸入數據的類型和是否在網絡中加入注意力機制兩個方面出發，設計了六種不同的分割方案。在網絡中加入注意力機制時，有三種方案，分別針對輸入數據為RGB、CHM以及RGB+CHM的情況。同樣地，當網絡中不包含注意力機制時，也有三種方案。六種方案獲得的分割結果如表2所示，

表 2不同設計方案下獲得的單木分割結果

可以看出，當輸入數據為RGB且在網絡中加入SimAM注意力機制時，獲得的分割性能最好，AP值達到41.5%，其中IoU閾值為0.5時（即AP50），精度最高，有74.5%。除了輸入數據為CHM的情況外，其他所有模型對中目標的分割能力最好，APM值高于APS值和APL值，如模型RGB+SimAM的APM值為47.6%，高于APS值（32.4%）和APL值（33.6%）10多個百分點。當在網絡中加入SimAM注意力機制時，分割性能均得到提升。其中，當輸入數據為RGB且網絡中不加入注意力機制時，獲得的AP50值為72.3%，加入注意力機制后，AP50值提高到74.5%，增加了2.2個百分點。這證明了SimAM注意力機制的有效性。模型獲得的分割效果如圖11所示，

圖 11單木分割結果

可以看出，網絡能夠準確地識別并分割出圖像中的樹木，但也存在一定的問題，比如欠分割的情況。如圖11(c)所示的預測掩膜圖，紅框部分應為多棵樹，但模型將其分割為同一棵樹。此外，模型對圖像邊緣部分的分割效果不太良好，如圖11(c)中的藍框部分，其不是一棵完整的樹，模型將其分割為一棵樹。

續~~

推薦：

便攜式高光譜成像系統iSpecHyper-VS1000

專門用于公安刑偵、物證鑒定、醫學醫療、精準農業、礦物地質勘探等領域的最新產品，主要優勢具有體積小、幀率高、高光譜分辨率高、高像質等性價比特點采用了透射光柵內推掃原理高光譜成像，系統集成高性能數據采集與分析處理系統，高速USB3.0接口傳輸，全靶面高成像質量光學設計，物鏡接口為標準C-Mount，可根據用戶需求更換物鏡。

審核編輯 黃宇