新GAN技術應用多層次特征的風格遷移人臉生成器你了解嗎

GAN 自 2014 年提出以來得到了廣泛應用。前不久效果令人震驚的 ICLR 2019 論文 BigGAN 引發了眾多關注。去年英偉達投稿 ICLR 2018 的論文《Progressive Growing of GANs for Improved Quality, Stability, and Variation》效果也很驚艷。近日 PGGAN 的作者再發論文，這次的效果更加真實。

是的，這些圖片都是由 GAN 生成的。

這款新型 GAN 生成器架構借鑒了風格遷移研究，可對高級屬性（如姿勢、身份）進行自動學習和無監督分割，且生成圖像還具備隨機變化（如雀斑、頭發）。該架構可以對圖像合成進行直觀、多尺度的控制，在傳統的分布質量指標上達到了當前最優，展示了更好的插值屬性，并且能夠更好地將潛在的變差因素解糾纏。

下圖展示了這款新型生成器的風格效果。它將隱編碼生成的風格（source）疊加在另一種隱編碼的風格子集（destination）上。

對空間分辨率較低（4^2 – 8^2）的層的風格進行疊加的效果見「Coarse styles copied」部分：生成圖像從 source 中復制了姿勢、大致發型、臉形和眼鏡等高級屬性，但保留了 destination 圖像的所有顏色（眼睛、頭發、光線）和細節臉部特征。

對空間分辨率為 16^2 – 32^2 的層的風格進行疊加的效果見「Middle styles copied」部分：復制了 source 圖像的細微面部特征、發型、眼睛睜開的狀態，同時保留了 destination 圖像的姿勢、臉形和眼鏡。

對高分辨率 (64^2 – 1024^2) 的層的風格進行疊加的效果見「Fine styles」：主要保留了 source 圖像的顏色和微小特征。

基于風格的生成器

如下圖所示，（a）PGGAN 生成器將隱編碼僅饋入輸入層，而（b）英偉達最近提出的基于風格的生成器首先將輸入映射到中間潛在空間 W，W 控制生成器在每個卷積層的自適應實例歸一化（adaptive instance normalization，AdaIN）。然后在應用非線性激活之前在每個卷積層之后添加高斯噪聲。圖中 A 表示學到的仿射變換，B 表示學到的每個通道對噪聲輸入的比例因子。映射網絡 f 包含 8 個層，合成網絡 g 包含 18 個層（4^2、8^2、16^2、32^2、64^2、128^2、256^2、512^2、1024^2 這九種分辨率中每種分辨率有兩個層）。使用互相分離的 1 × 1 卷積將最后一層的輸出轉換成 RGB，與前作 PGGAN 類似。

基于風格的生成器的屬性

該生成器架構通過對風格的尺度調整來控制圖像合成。映射網絡和仿射變換用來從學到的分布中獲取每種風格的采樣，合成網絡用來基于多種風格生成新圖像。每種風格的效果都在該網絡內有呈現，即修改多種風格的特定子集以影響圖像的某些特定屬性。

該研究介紹了該生成器的三個屬性，分別是風格混合、隨機變化（Stochastic variation）和全局效應與隨機性的分離。

風格混合

上圖展示了在多種分辨率情況下混合兩種隱編碼合成的圖像示例?？梢钥吹斤L格的每個子集控制圖像的有意義高級屬性。

隨機變化

圖 4. 隨機變化的示例。（a）兩張生成的圖像。（b）放大輸入噪聲的不同實現。盡管整體外觀大致相同，但個體毛發細節還是有不同。（c）100 個不同實現中像素的標準偏差，高亮處為圖像受噪聲影響的區域。主要區域是頭發、輪廓和部分背景，但眼睛的反射也有有趣的隨機變化。身份和姿勢等全局特征不受隨機變化的影響。

圖 5：生成器不同層的輸入噪聲對生成結果的影響。（a）噪聲被應用到所有層；（b）沒有噪聲；（c）噪聲僅應用到（64^2 - 1024^2）分辨率的精細層；（d）噪聲僅應用到（4^2 - 32^2）分辨率的粗糙層。我們可以看到人工消除噪聲可以讓圖像看起來更正常，粗糙噪聲會導致大幅度的頭發和背景扭曲；精細噪聲帶來的頭發變形更加細致，背景細節更加豐富，甚至能看到皮膚毛孔。

全局效應與隨機性的分離

前文及隨附的視頻說明，雖然改變風格會產生全局效應（global effect），如改變姿勢、ID 等，但噪聲只會影響無關緊要的隨機變化（如發型、胡子等）。這個觀察結果與風格遷移文獻一致，后者已經確定了空間不變的統計數據（格拉姆矩陣、通道均值、方差等）能夠可靠地編碼圖像的風格 [17, 33]，同時空間變化的特征編碼特定實例。

在本文基于風格的生成器中，風格會影響整個圖像，因為整個特征圖會以同樣的值進行縮放和偏移。因此，姿勢、光線或背景風格等全局效應可以得到連貫的控制。同時，噪聲被單獨添加到每個像素中，因此非常適于控制隨機變化。如果該網絡試圖用噪聲控制姿勢，那將會導致空間不一致的決策，然后被判別器懲罰。因此該網絡學會了在沒有明確指導的情況下適當地使用全局和局部通道。

此外，英偉達還提出兩種可應用于任意生成器架構的新型自動化方法，并創建了一個包含千差萬別、高質量人臉圖像的新型數據集 FlickrFaces-HQ（FFHQ）。該數據集中的圖像來自于 Flickr 網站，并經過自動對齊和剪裁。該數據集包含 70000 張分辨率為 1024^2 的高質量圖像，其中的圖像在年齡、種族、圖像背景等方面比 CelebA-HQ [26] 具備更寬泛的變化，且涵蓋更多配飾，如眼鏡、太陽鏡、帽子等。