什么是分割？圖像分割知識點(diǎn)總結

分割知識點(diǎn)總結

1 什么是分割

原始圖像，（b）語(yǔ)義分割，（c）實(shí)例分割和（d）全景分割。

盡管FCN意義重大，在當時(shí)來(lái)講效果也相當驚人，但是FCN本身仍然有許多局限。比如：

1）沒(méi)有考慮全局信息；

2）無(wú)法解決實(shí)例分割問(wèn)題；

3）速度遠不能達到實(shí)時(shí)；

4）不能夠應對諸如3D點(diǎn)云等不定型數據基于此。

下圖給出了部分研究成果與FCN的關(guān)系。

2 FCN

目前在圖像分割領(lǐng)域比較成功的算法，有很大一部分都來(lái)自于同一個(gè)先驅?zhuān)篖ong等人提出的Fully Convolutional Network（FCN），FCN用卷積層和池化層替代了分類(lèi)網(wǎng)絡(luò )中的全連接層，從而使得網(wǎng)絡(luò )結構可以適應像素級的稠密估計任務(wù)。

全連接層轉換成卷積層

連接不同尺度下的層

FCN可以與大部分分類(lèi)網(wǎng)絡(luò )有效結合，下表中給出了在PASCAL VOC 2011數據庫下，FCN與AlexNet、FCN-VGG16和FCN-GoogLeNet結合的結果。

分割任務(wù)中的編碼器encode與解碼器decode；

分割任務(wù)中的編碼器結構比較類(lèi)似，大多來(lái)源于用于分類(lèi)任務(wù)的網(wǎng)絡(luò )結構，比如VGG。解碼器的不同在很大程度上決定了一個(gè)基于編解碼結構的分割網(wǎng)絡(luò )的效果。

2）SegNet

SegNet的編碼器結構與解碼器結構是一一對應的，即一個(gè)decoder具有與其對應的encoder相同的空間尺寸和通道數。對于基礎SegNet結構，二者各有13個(gè)卷積層，其中編碼器的卷積層就對應了VGG16網(wǎng)絡(luò )結構中的前13個(gè)卷積層。SegNet與FCN的對應結構相比，體量要小很多。這主要得益于SegNet中為了權衡計算量而采取的操作：用記錄的池化過(guò)程的位置信息替代直接的反卷積操作。

3）解碼器變體

4、感受野與分辨率的控制術(shù)—空洞卷積

1）緒論

分割任務(wù)是一個(gè)像素級別的任務(wù)，因此需要在輸入的空間尺寸下對每個(gè)像素都有分割的結果。換句話(huà)說(shuō)，如果輸入的空間尺寸是HxW，那么輸出也需要是HxW的。為了提高網(wǎng)絡(luò )性能，許多結構采用了池化或striding操作來(lái)增加感受野，同時(shí)提升遠程信息的獲取能力。但是這樣的結構也帶來(lái)了空間分辨率的下降。比如之前提到的編解碼結構中的編碼器。

在空洞卷積提出以前，大部分的空間尺寸恢復工作都是由上采樣或反卷積實(shí)現的。前者通常是通過(guò)線(xiàn)性或雙線(xiàn)性變換進(jìn)行插值，雖然計算量小，但是效果有時(shí)不能滿(mǎn)足要求；后者則是通過(guò)卷積實(shí)現，雖然精度高，但是參數計算量增加了。

空洞卷積：調整感受野（多尺度信息）的同時(shí)控制分辨率的神器。

(1) 控制感受野

下圖是空洞卷積結構的示意圖，從左到右比率（rate）分別為1、6和24，比率可以粗暴理解為卷積核內相鄰兩個(gè)權重之間的距離。從圖中可以看出，當比率為1的時(shí)候，空洞卷積退化為常見(jiàn)的卷積。

(2) 控制分辨率

除了維持空間分辨率，空洞卷積也可以像標準卷積一樣通過(guò)設置輸出步長(cháng)（output_stride）實(shí)現輸出特征圖分辨率的控制。

3）網(wǎng)絡(luò )結構

(1) 網(wǎng)絡(luò )結構介紹

從左到右分別是金字塔結構、編解碼結構、空洞卷積結構和空間金字塔池化結構。

4）實(shí)驗及分析

（1）卷積核的有效權重

當空洞卷積的區域與特征圖實(shí)際空間尺寸相近的時(shí)候，實(shí)際有效的卷積核權重是非常有限的。在極端條件下，當空洞卷積的比率接近特征圖空間尺寸時(shí)，一個(gè)3x3的卷積核就退化成了1x1的卷積核。

為了克服這個(gè)問(wèn)題，DeepLabv3中采用的做法是對最后一層特征圖應用全局池化（global pooling），再將其送入一個(gè)1x1的卷積層中，最后，通過(guò)雙線(xiàn)性上采樣實(shí)現希望的空間分辨率。

(2) 實(shí)驗總結

DeepLabv3給出了諸多條件下的剝離實(shí)驗，首先給出整體結論：

輸出步長(cháng)為8時(shí)效果比更大的步長(cháng)要好；

基于ResNet-101的結構比基于ResNet-50的要好；

用變化的比率比11的比率要好；

加上多尺度輸入和左右翻折數據效果更好；

用MS COCO下預訓練的模型效果更好。

4、快速道路場(chǎng)景分割—ENet

（1）緒論

雖然深度神經(jīng)網(wǎng)絡(luò )在計算機視覺(jué)領(lǐng)域的有效性已經(jīng)是毋容置疑的了，但是大部分神經(jīng)網(wǎng)絡(luò )仍然受限于計算量、存儲空間、運算速度等因素，無(wú)法應用于實(shí)際的計算機視覺(jué)任務(wù)。

以圖像分割為例，前面提到的SegNet的速度已經(jīng)相當快了，但是仍然遠不能達到實(shí)時(shí)分割的目的。比如道路場(chǎng)景分割任務(wù)，至少需要達到10fps，而SegNet的速度只能實(shí)現1fps左右。

（2） 實(shí)時(shí)，該考慮什么？

特征圖分辨率

為了減小計算量、增大感受野，許多網(wǎng)絡(luò )都采用縮小特征圖分辨率的結構（比如前面提到的SegNet）。但是，過(guò)度縮小特征圖分辨率則會(huì )造成嚴重的信息丟失，從而造成分割精度的下降。因此，要盡可能約束下采樣的比率。目前被廣泛接受的下降比率不超過(guò)1/8。那么還要繼續增大感受野該怎么辦呢？沒(méi)錯，就是用到空洞卷積了。

提前下采樣

解碼器規模

非線(xiàn)性操作

分解卷積層

考慮到卷積層權重其實(shí)有相當大的冗余，可以用nx1和1xn的兩個(gè)卷積層級聯(lián)（對稱(chēng)卷積）來(lái)替代一個(gè)nxn的卷積層來(lái)縮小計算量。具體地，用n=5的對稱(chēng)卷積的計算量近似于一個(gè)3x3的普通卷積，但是由于引入了非線(xiàn)性，這樣的操作還能夠增加函數的多樣性。

(6) 空洞卷積

引入空洞卷積可以減小計算量、增大感受野，同時(shí)維護了特征圖的分辨率。為了使空洞卷積發(fā)揮最大的作用，ENet中穿插地使用了普通卷積、對稱(chēng)卷積和空洞卷積。

（3）網(wǎng)絡(luò )結構

ENet主要由兩種類(lèi)型的網(wǎng)絡(luò )結構構成，如下圖所示：

其中，圖(a)對應的是ENet的初始模塊，也就是前文提到的縮小輸入圖像分辨率，從而去除視覺(jué)冗余、減小計算量的部分；圖(b)對應的則是重復使用，從而構建網(wǎng)絡(luò )主體的bottleneck模塊。

5、以RNN形式做CRF后處理—CRFasRNN

（1）條件隨機場(chǎng)（CRF或CRFs）與隱馬爾科夫模型有著(zhù)千絲萬(wàn)縷的聯(lián)系。

馬爾科夫鏈是指具有馬爾可夫性質(zhì)且存在于離散指數集合狀態(tài)空間內的隨機過(guò)程，之前走過(guò)的每一步之間是條件獨立的，即上一步走的方向不會(huì )影響這一步的方向。由于存在的選擇只有四個(gè)（舉例：上下左右），即選擇離散，所以我們稱(chēng)這個(gè)過(guò)程為馬爾科夫鏈。當選擇連續時(shí)，稱(chēng)為馬爾科夫過(guò)程（Markov Process）。

（2）

隱式馬爾科夫模型（HMM，Hidden Markov Model）是關(guān)于時(shí)序的概率模型，描述由一個(gè)隱藏的馬爾科夫鏈隨機生成的不可觀(guān)測的狀態(tài)隨機序列，再由各個(gè)狀態(tài)生成一個(gè)觀(guān)測而產(chǎn)生觀(guān)測序列的過(guò)程。隱藏的部分稱(chēng)為狀態(tài)序列；生成的觀(guān)測組成的隨機序列稱(chēng)為觀(guān)測序列。

什么是CRF？

CRF是一種判別式概率模型，是隨機場(chǎng)的一種，結合了最大熵模型和隱式馬爾科夫模型的特點(diǎn)；CRF是一種無(wú)向圖模型，圖中的頂點(diǎn)代表隨機變量，頂點(diǎn)間的連線(xiàn)代表隨機變量間的相依關(guān)系。其條件概率分布模型可以表述為P(Y|X)，即給定一組隨機變量的條件下，隨機變量Y的馬爾科夫隨機場(chǎng)（MRF，Markov Random Field）。

（3）網(wǎng)絡(luò )結構

那么，如果用一個(gè)FCN模型完成第一階段的分割任務(wù)，用RNN形式的CRF完成第二階段的后處理（CRF-RNN），則可以搭建如下形式的端到端分割網(wǎng)絡(luò )結構模型：

6、多感受野的金字塔結構—PSPNet

（1）為什么要用金字塔結構提取特征

由于金字塔結構并行考慮了多個(gè)感受野下的目標特征，從而對于尺寸較大或尺寸過(guò)小的目標有更好的識別效果。

（2）金字塔池化模型

下圖是論文中提出的基于金字塔池化模型的網(wǎng)絡(luò )結構。其中，虛線(xiàn)框出來(lái)的部分屬于金字塔池化模型。

實(shí)驗中分別用了1x1、2x2、3x3和6x6四個(gè)尺寸，最后用1x1的卷積層計算每個(gè)金字塔層的權重，再通過(guò)雙線(xiàn)性恢復成原始尺寸。

最終得到的特征尺寸是原始圖像的1/8。最后在通過(guò)卷積將池化得到的所有上下文信息整合，生成最終的分割結果。

7、全局特征與局部特征的交響曲—ParseNet

（1）理論感受野是真的嗎？

大家已經(jīng)能夠體會(huì )到感受野對于分割網(wǎng)絡(luò )效果的影響有多么巨大了。簡(jiǎn)單來(lái)說(shuō)，感受野越大，網(wǎng)絡(luò )所能“看見(jiàn)”的區域就越大，從而能夠用于分析的信息就更多。由此，分割的效果也很有可能更好。

基于這種考慮，許多算法嘗試通過(guò)改變自身網(wǎng)絡(luò )結構設計來(lái)增大網(wǎng)絡(luò )的理論感受野，認為這樣就能夠為網(wǎng)絡(luò )帶來(lái)更多的信息。盡管理論感受野的增大的確能夠增加網(wǎng)絡(luò )所獲取的上下文信息，但是，理論感受野難道真的就代表了算法實(shí)際看見(jiàn)的區域嗎？

網(wǎng)絡(luò )實(shí)際上能夠覆蓋的區域也就能達到整圖的1/4左右，遠遠沒(méi)有達到理論感受野的尺寸。那么究竟該如何利用全部的圖像上下文信息呢？ParseNet提出了一種融合全局信息與局部信息的方法，下面來(lái)具體介紹一下。

（2）全局特征的提取與融合

如下圖所示，ParseNet通過(guò)全局池化提取圖像的全局特征，并將其與局部特征融合起來(lái)。這種融合在過(guò)程中需要考慮兩個(gè)主要問(wèn)題：融合的時(shí)機與尺度的歸一化。

融合時(shí)機

全局特征與局部特征的融合可以發(fā)生在兩個(gè)節點(diǎn)：分別是訓練分類(lèi)器之前（early fusion）和訓練分類(lèi)器之后（late fusion）。其中，前者是將兩個(gè)特征融合后，作為一個(gè)整體共同送入分類(lèi)網(wǎng)絡(luò )，訓練分類(lèi)器；后者則是以?xún)蓚€(gè)特征為輸入，分別訓練其對應的分類(lèi)器，最后再將分類(lèi)的結果整合。

歸一化

8、多分辨率特征融合—RefineNet

（1）恢復空間分辨率

在分割任務(wù)中，為了提取更復雜的特征、構建更深的神經(jīng)網(wǎng)絡(luò )，許多算法往往會(huì )以犧牲空間分辨率的方式，在盡量少地增加計算量的前提下，換取特征通道數的增加。雖然這種方式有諸多優(yōu)點(diǎn)，但是也有一個(gè)明顯的缺陷——空間分辨率的下降。

下面我們具體聊一下RefineNet的網(wǎng)絡(luò )結構和設計思想。

（2）全局特征的提取與融合

RefineNet總共包括三大模塊：殘差卷積模塊（RCU，Residual Convolution Unit）、多分辨率融合模塊（Multi-Resolution Fusion）和串聯(lián)殘差池化模塊（Chained Residual Pooling）。

RCU模塊

RCU模塊的結構如下圖所示：

每個(gè)RCU模塊包括一個(gè)ReLU層和一個(gè)卷積層，網(wǎng)絡(luò )結構中，每個(gè)分辨率下應用兩個(gè)串聯(lián)的RCU模塊，用于提取該分辨率下的分割結果的殘差，最后以相加的形式校正該分辨率下的原始分割結果。

多分辨率融合

下圖是多分辨率融合部分的詳細結構：

在給定了多分辨率下經(jīng)過(guò)處理的分割結果后，各個(gè)結果將依次通過(guò)一個(gè)卷積層和一個(gè)上采樣層，形成空間分辨率統一的分割結果圖。

具體而言，網(wǎng)絡(luò )首先通過(guò)一個(gè)卷積層處理輸入進(jìn)來(lái)的不同分辨率下的分割結果，從而學(xué)習得到各通道下的適應性權重。隨后，應用上采樣，統一所有通道下的分割結果，并將各通道結果求和。求和結果送入下一個(gè)模塊。

串聯(lián)殘差池化

下圖是這一模塊的結構圖：

這個(gè)模塊主要由一個(gè)殘差結構、一個(gè)池化層和一個(gè)卷積層組成。其中，池化層加卷積層用來(lái)習得用于校正的殘差。值得注意的是，RefineNet在這里用了一個(gè)比較巧妙的做法：用前一級的殘差結果作為下一級的殘差學(xué)習模塊的輸入，而非直接從校正后的分割結果上再重新習得一個(gè)獨立的殘差。

這樣做的目的，RefineNet的作者是這樣解釋的：可以使得后面的模塊在前面殘差的基礎上，繼續深入學(xué)習，得到一個(gè)更好的殘差校正結果。

最后，網(wǎng)絡(luò )又經(jīng)過(guò)一個(gè)一個(gè)RCU模塊，平衡所有的權重，最終得到與輸入空間尺寸相同的分割結果。

（3）網(wǎng)絡(luò )結構變種

單個(gè)RefineNet

2次級聯(lián)的RefineNet

4次級聯(lián)2倍RefineNet

除了語(yǔ)義分割，RefineNet還可以用于目標理解（object parsing）。下圖是RefineNet在目標理解上的直觀(guān)結果：

9、用BRNN做分割—ReSeg

（1）簡(jiǎn)單說(shuō)說(shuō)BRNN

什么是循環(huán)神經(jīng)網(wǎng)絡(luò )？

不同于卷積神經(jīng)網(wǎng)絡(luò )（CNN，Convolutional Neural Network）通常以圖塊（patches）為輸入，循環(huán)神經(jīng)網(wǎng)絡(luò )（RNN，Recurrent Neural Network）的輸入是序列形式的。即使在處理圖像時(shí)，通常也需要對圖像矩陣進(jìn)行展開(kāi)（flatten）操作，再應用RNN。輸入序列數據后，RNN在序列的演進(jìn)方向遞歸所有節點(diǎn)，并將其定向鏈式連接。

下圖是一個(gè)簡(jiǎn)單的RNN單元示意圖：

為什么要用RNN？

什么是BRNN？

BRNN是雙向循環(huán)神經(jīng)網(wǎng)絡(luò )（Bi-directional RNN）的縮寫(xiě)，屬于循環(huán)神經(jīng)網(wǎng)絡(luò )的一種?；ARNN只能依據之前時(shí)刻的時(shí)序信息來(lái)預測下一時(shí)刻的輸出，但是有些問(wèn)題中需要聯(lián)系上之前和未來(lái)狀態(tài)，共同進(jìn)行預測。BRNN由兩個(gè)方向不同的RNN堆疊而成，同時(shí)處理過(guò)去和未來(lái)信息。下圖是BRNN的示意圖：

（2）ReSeg：用BRNN做分割

ReSeg是基于圖像分割模型ReNet提出的。因此，我們首先來(lái)看一下ReNet。

10、BRNN下的RGB-D分割—LSTM-CF

（1）RGB-D分割

RGB-D分割中的D指的是“Depth”，即“深度”，也就是相機到物體在實(shí)際空間中的距離。

引入深度信息后，其提供的額外結構信息能夠有效輔助復雜和困難場(chǎng)景下的分割。比如，與室外場(chǎng)景相比，由于語(yǔ)義類(lèi)別繁雜、遮擋嚴重、目標外觀(guān)差異較大等原因，室內場(chǎng)景的分割任務(wù)要更難實(shí)現。此時(shí)，在結合深度信息的情況下，能夠有效降低分割的難度。

11、實(shí)例分割模型—DeepMask

（1）實(shí)例分割

實(shí)例分割任務(wù)有其自己的任務(wù)需求與度量矩陣。簡(jiǎn)單來(lái)講，語(yǔ)義分割只分割視野內目標的類(lèi)型，而實(shí)例分割則不僅分割類(lèi)型，同時(shí)還需要分割同類(lèi)型的目標是否為同一個(gè)實(shí)例。

（2）DeepMask

DeepMask網(wǎng)絡(luò )其實(shí)實(shí)現了三個(gè)任務(wù)：前背景分割、前景語(yǔ)義分割與前景實(shí)例分割。這三個(gè)任務(wù)是基于同一個(gè)網(wǎng)絡(luò )結構進(jìn)行的，只是各自有單獨的分支。下圖是DeepMask的網(wǎng)絡(luò )模型概況：

與大部分分割網(wǎng)絡(luò )相同，DeepMask同樣應用了VGG模型作為特征提取的主要模塊，在訓練中也用了ImageNet下訓練得到的VGG參數初始化這一部分模型。DeepMask用兩條分支來(lái)分別實(shí)現分割任務(wù)和前景目標識別任務(wù)。

分割部分

分割部分要實(shí)現的是對圖塊內場(chǎng)景的類(lèi)別的識別，由一個(gè)1x1卷積層后接分類(lèi)層實(shí)現。這里的分類(lèi)是稠密的，也就是對每一個(gè)像素都有其對應的標注。

前景Score部分

網(wǎng)絡(luò )的第二個(gè)分支要完成的任務(wù)是，判斷一個(gè)圖塊是否滿(mǎn)足下面兩個(gè)要求：

目標位于圖塊的正中心附近

目標完整存在于圖塊中（在某一尺度范圍內）

12、全景分割是什么？

（1）全景分割

與之前介紹的語(yǔ)義分割與實(shí)例分割不同，全景分割任務(wù)（Panoptic Segmentation）要求圖像中的每個(gè)像素點(diǎn)都必須被分配給一個(gè)語(yǔ)義標簽和一個(gè)實(shí)例id。其中，語(yǔ)義標簽指的是物體的類(lèi)別，而實(shí)例id則對應同類(lèi)物體的不同編號。

全景分割的實(shí)現也面臨著(zhù)其他難題。比如，與語(yǔ)義分割相比，全景分割的困難在于要優(yōu)化全連接網(wǎng)絡(luò )的設計，使其網(wǎng)絡(luò )結構能夠區分不同類(lèi)別的實(shí)例；而與實(shí)例分割相比，由于全景分割要求每個(gè)像素只能有一個(gè)類(lèi)別和id標注，因此不能出現實(shí)例分割中的重疊現象。

全景分割的具體分割形式有以下兩點(diǎn)要求：

圖像中的每個(gè)像素點(diǎn)都有一個(gè)對應的語(yǔ)義類(lèi)別和一個(gè)實(shí)例id，如果無(wú)法確定可以給予空標注。

所有語(yǔ)義類(lèi)別要么屬于stuff，要么屬于things，不能同時(shí)屬于二者；且stuff類(lèi)別沒(méi)有實(shí)例id（即id統一為一個(gè)）。

全景分割與語(yǔ)義分割的關(guān)系：

如果所有的類(lèi)別都是stuff，那么全景分割除了度量與語(yǔ)義分割不同外，其它相同。

全景分割與實(shí)例分割的關(guān)系：

全景分割中不允許重疊，但實(shí)例分割可以；此外，實(shí)例分割需要每個(gè)分割的置信概率，但全景分割不需要。盡管如此，全景分割內為了輔助機器的辨識，也是可以引入置信概率的概念的。

（2）度量矩陣

為了將stuff類(lèi)別和things類(lèi)別統一在一個(gè)分割任務(wù)下，全景分割的度量應當具有以下三個(gè)性質(zhì)：

完整性：對stuff和things類(lèi)別一視同仁，包含任務(wù)中的所有方面。

可解釋性：度量需要具有能夠可定義、可理解、可交流的性質(zhì)。

簡(jiǎn)單：有效的度量應當簡(jiǎn)潔、可復現。

基于此，全景分割的度量被分為了分割匹配（segment matching）和全景質(zhì)量計算（panoptic quality computation）兩個(gè)部分。

分割匹配：要求IoU（Intersection over Union）嚴格大于0.5才算匹配，且不可以有重疊區域，限制一個(gè)像素只能對應一個(gè)標簽。

全景質(zhì)量計算：對每個(gè)類(lèi)別的全景分割質(zhì)量的單獨計算結果取平均，從而保證分割結果對類(lèi)別不敏感。

審核編輯：劉清