?多模態風格遷移——生成更加美麗動人的風格圖像

對風格圖像的風格進行聚類實現多模態表示，并對風格與內容圖的空間特征進行匹配實現了具有多種模態風格的、具有內容自適應性風格遷移。

圖像風格遷移是一種利用風格圖像中的特征將內容圖像渲染成類似風格圖像效果的技術，隨著深度學習的發展越來越精美的圖像被生成出來甚至可以與專業畫家相媲美。由于人們發現卷積特征間的相關性可以表示圖像的風格，這使得迭代優化網絡參數或者利用前傳網絡生成風格圖像成為可能，目前的方法主要利用風格圖的預訓練模型來對任意的輸入進行風格化處理，或者抽取風格圖的特征對內容圖進行風格化。這些方法大都假設圖像的風格可以通過格拉姆矩陣等深度特征的全局統計信息來描述。

盡管這些方法可以保存內容圖像并匹配風格圖像的特征，但很多時候還是會在局部產生一系列扭曲和變形，造成明顯的人工痕跡。如何處理這些問題成為了風格遷移領域的研究難點和熱點。下圖展示了先前方法的風格遷移圖像的一些結果，其中第一列大圖為內容圖，右下角小圖為風格圖，最后一列為本文提出的多模態風格遷移(MultimodalStyleTransfer,MST)方法：

在第一行中左下角的風格圖像中包含一系列復雜的紋理和線條，先前的方法無法區分風格圖像中不同的風格，并且對于內容圖像不加區分地進行了風格化處理，這使得在背景天空等區域出現了一些較為明顯的線條，破壞了內容圖原有的連續性。讓我們再來看看第二行，這里的風格圖像模式清晰，包含了統一的背景和紅色/黑色的前景。AdaIN,WCT和LST等方法都無法較好的保持內容圖像的結構特征，受到沖洗效應（wash-outartifacts.）的影響使得很多內容細節變得模糊。這主要是由于單調的背景在風格圖中占比過大，造成了背景全局風格特征中占據了主導地位。從這些結果中可以看出類似格拉姆矩陣或協方差均值這類全局單模態的統計表示不足以表達特征圖豐富、多模態的特征。理想的特征表達應該是具有空間分布的特征模式。

盡管基于圖像片的方法這些模型可以在內容圖像和風格圖像具有相似結構特征時生成視覺效果較好的風格圖，但這些方法很多時候會在生成圖像中引入不該出現的風格模式。在上圖中最后兩行的圖像中可以明顯看到這些結果。例如風格圖像中的眼睛、嘴唇等模式都會被copy到背景中（倒數第二行），甚至在最后一行中我們可以看出內容圖像已經發生改變，女孩的臉型受到了風格圖像的影響。這些缺點大大限制了生成高質量風格圖像的應用，為了解決這些問題研究人員從風格分布的角度提出了一種多模態風格遷移的方法，實現了靈活、通用風格化過程，并充分利用并有效平衡了參數化和非參數化方法的優勢。

具體來說，研究人員提出了多模態風格表示方法來表示風格圖的特征，并基于圖方法的匹配機制來實現風格特征和內容圖像的匹配。研究人員在對多種風格圖像風格分布分析的基礎上認為多模態表示是更為有效的風格表達方式，并利用表示不同特定特征的風格集合來實現多模表示，可利用這些特征來實現會對不同特征的混合與匹配，得到豐富多彩的風格化圖像。

為了實現風格-內容的匹配，研究人員提出了基于圖的能量最小化方法，并利用圖割的方式來求解。風格表達通過內容的空間特征來匹配。最后研究人員還利用了不同的子風格數量探索了多模態表達的魯棒性和有效性，實驗表明MST可有效改進現有風格化方法表現。

接下來讓我們一起來探索高效的多模態風格表示，并研究如何為每一種內容特征與風格特征進行匹配，最后將在對應的特征子空間中實現風格轉換。

多模態表示

基于卷積的圖像風格遷移主要利用兩種方法來對特征進行表示，一種假設全局具有相同分布并用全局特征來表風格，另一種則基于圖像片提取風格。當風格圖像具有多種特征時、單一均勻的方法無法較好的處理。在下圖中可以看到對于風格特征的聚類，明顯具有多種不同的風格模式。

而基于圖像片的方法來說，會造成多個相同模式的圖像片被copy到最終結果中造成不連續不美觀的局部畸變。為了處理這些問題研究人員提出了利用多模態來表示風格圖的特征，通過將風格分為多個子集實現了高維空間中的模態聚類，在特征空間中通過K均值聚類來對特征點進行分割：

特征Fs被分解成多個子特征，每個特征都有自己的特征標簽lk。在特征空間中的鄰近點具有相同的視覺特征。通過這樣的方法就將先前均一模式的特征表達分解到了多個子空間中。

基于圖的風格匹配

針對內容圖，同樣需要抽取特征。隨后對內容特征和風格特征進行距離測量，基于余弦距離計算出每一個風格特征與內容特征的距離，并最小化數據能量函數來匹配對應的特征：

隨后還需要考慮內容圖像的空間信息來保留內容的連續性和邊緣的完整，并希望內容圖像同一局域擁有相同的特征標簽，所以還引入了內容平滑項：

最后將兩項能量函數聯合起來并最小化就能得到風格與對應內容匹配的結果。研究人員提出了基于圖的方法來最小化，并最終實現了像素級的風格匹配。

實驗發現，風格特征的聚類將抽取出圖像中的語義信息。在獲得像素級的匹配圖后，就可以更具內容的特征自適應的匹配不同風格來實現更為有效的圖像風格化操作。下圖分別顯示了具有兩個/三個子風格的風格匹配圖像。

通過一系列的實驗表明，這種方法在邊緣保留、特征自適應匹配等方面具有十分優異的表現。研究人員探索了不同風格聚類數量對于風格化的影響，可以看到越多的子風格數對圖像的表達越完整，遷移后的圖像具有更好的視覺連續性：

在匹配圖中我們可以看到不同特征的分布區域，下圖中可以看到聚類數為3時不同特征對應內容圖和特征圖的區域模式。

這種利用多模態的風格表示方法有效的將風格圖中的不同特征進行了更為豐富完整的表示，并利用特征匹配的方法為不同的內容區域匹配不同的特征，自適應的實現具有空間分布的風格遷移。MST的思想可以有效拓展到現有的風格遷移方法中，提高最終生成的風格圖像的視覺效果。最后讓我們再來欣賞一些機器生產的美麗畫作吧！

MST方法得到的結果與其他方法的比較