什么是NVIDIA DLSS？NVIDIA DLSS的發展過程

本文將要介紹的一項黑科技叫做NVIDIA DLSS，它始于 3D 游戲，又被廣大游戲玩家戲稱為“大力水手”。如今它已更新發展到了 DLSS 3.5，并已登陸包括 NVIDIA Omniverse、D5、Chaos Vantage 在內的專業 GPU 渲染器，開始進軍專業圖形領域。

那么，這個 NVIDIA DLSS 究竟有何神奇之處？其“大力”又何以體現？

1?

什么是 NVIDIA DLSS？

NVIDIA DLSS，全稱叫做 Deep Learning Super Sampling（深度學習超級采樣）。由 NVIDIA RTX GPU 上的專用 AI 處理器（即 Tensor Core）提供支持，是一個經過改進的全新深度學習神經網絡，能夠在提高幀數的同時生成精美、清晰的實時渲染圖像。

用最簡單的話來說，DLSS 就像大力水手一般，靠吃 AI 算法這顆“菠菜”開掛，“腦補”出實時渲染中缺失的像素，從而提升實時渲染的幀數。開啟 DLSS 之后，GPU 只需要先輸出一個或多個低分辨率的畫面，DLSS 就能調用 GPU 的 Tensor Core 進行 AI 運算，“腦補”出高分辨率畫面并輸出，以達到高分辨率下提升實時渲染幀數的效果。

展開來說 NVIDIA DLSS 深度學習超級采樣這項技術的話，在 3D 游戲中，渲染的幀并非直接顯示，而是先對其執行后期處理圖像增強步驟。在此步驟中，將來自多個渲染幀的輸入組合在一起，以在保留細節的同時，消除諸如鋸齒等視覺失真現象。例如，時域抗鋸齒 (TAA) 是目前最常用的圖像增強算法之一，這是一種基于著色器的算法，使用運動矢量組合兩幀，以確定在何處對前一幀進行采樣。然而，這種圖像增強過程從根本上來說很難正確實行。而這類沒有清晰算法解決方案的圖像分析和優化問題可通過應用 AI 來完美解決。為解決這一難題而開發的深度神經網絡 (DNN) 模型被稱為深度學習超級采樣 (DLSS)。

DLSS 針對一組給定輸入樣本所產生的輸出質量要比 TAA 高得多，雖然 TAA 以最終目標分辨率渲染，然后組合幀，而 DLSS 通過消除細節，能夠以更低的輸入樣本數更快地渲染，這意味著以目標分辨率得到的結果與 TAA 結果的質量不相上下，但是只需執行大約一半的著色工作。在 DLSS 的訓練過程中，DLSS 將有機會學習如何根據大量超高質量的示例生成所需的輸出。為了訓練網絡，需要收集成千上萬的“真值”參考圖像，這些圖像均采用黃金標準方法渲染，具有出色的圖像質量，即 64 倍超級采樣。

64 倍超級采樣 (64xSS)是指我們在像素內以 64 個不同的偏移量進行著色，然后將輸出組合在一起，生成具有理想細節并抗鋸齒的優質圖像，而不是對每個像素進行一次著色處理。同時還會捕捉與之相匹配的正常渲染的原始輸入圖像。接下來，開始訓練 DLSS 網絡來匹配 64xSS 輸出幀，通過遍歷每個輸入，要求 DLSS 產生一個輸出，測量其輸出與 64xSS 目標之間的差值，并根據差值調節網絡中的權重，這個過程稱為反向傳播。經過多次迭代后，DLSS 可以自行學習生成接近 64xSS 質量的圖像，同時還避免出現影響 TAA 等傳統方法的模糊、不清晰和透明問題。

總之，DLSS 是利用深度神經網絡來提取所渲染場景的多維特征，并通過智能地組合多幀中的細節來構造高質量的最終圖像，畫質與傳統渲染方式相差無幾，但性能更高。

而利用專用的 Tensor Core 的 AI 渲染技術，可提供令人驚嘆的強大性能，不僅能提升幀率，還能提供足夠的性能優化空間，從而以較低的消耗增強了圖形顯示性能，提高了分辨率，甚至可以將分辨率提升至 8K。

2?

NVIDIA DLSS 的發展過程

▲ DLSS 各版本特性對比

目前，NVIDIA DLSS 已更新迭代到 DLSS 3.5 版本。下面就一起梳理下 DLSS 發展史中幾次重大的更新。

DLSS 1

2018 年 8 月，隨著 NVIDIA RTX 20 系列顯卡的正式發布，NVIDIA DLSS 技術首次問世，并引入到了 NVIDIA Turing 架構的 GPU 顯卡。NVIDIA 推出 NVIDIA DLSS 的初衷，是利用基于 AI 的超高分辨率技術重新定義實時渲染，在減少像素渲染的基礎上，使用 AI 構建更清晰、更高分辨率的圖像。

DLSS 2

2020 年 3 月，NVIDIA 發布了 NVIDIA DLSS 2， DLSS 也成為了 NVIDIA RTX 顯卡的一項獨立功能。

DLSS 2 也是由 RTX GPU 上的專用 AI 處理器 Tensor Core 提供支持，是一個經過改進的全新深度學習神經網絡，能夠提高幀速率，同時生成精美、清晰的實時渲染圖像。DLSS 2 為實時渲染提供了充足的性能，有助于在開啟光線追蹤的效果下，提高輸出的高分辨率幀數。

DLSS 2 在原始版本的基礎上進行了以下增強：

出色的圖像質量：DLSS 2 可在僅渲染四分之一到半數像素的前提下，提供與原始分辨率相媲美的畫質。其采用全新時間反饋技術，能夠實現更清晰的圖像細節，同時提高幀與幀之間的穩定性。

在不同 RTX 顯卡和分辨率上均具有出色的擴展性：全新 AI 網絡能夠更高效地使用 Tensor Cores，執行速度比原始版本快一倍。這不僅有助于提高幀率，還可消除以前顯卡、設置和分辨率上的限制。

一個適用于所有游戲的網絡：原始 DLSS 需要針對每個新游戲訓練 AI 網絡。DLSS 2 則使用非特定于某一游戲的內容開展訓練，從而能夠提供一個跨游戲使用的通用網絡。這意味著游戲集成更快，最終將能支持更多 DLSS 游戲。

自定義化選項：DLSS 2 為用戶提供“質量”(Quality)、“平衡”(Balanced) 和“性能”(Performance) 這 3 種畫質模式來控制游戲的內部渲染分辨率；啟用“性能”(Performance) 模式后，可實現高達 4 倍的超高分辨率（即從 1080p 到 4K）。這意味著用戶選擇更豐富，性能提升更顯著。

DLSS 3

2022 年 10 月，NVIDIA 再次突破性地推出了 DLSS 3，開啟了新的幀生成 (Frame Generation) 功能。

DLSS 3 以 DLSS 2 超分辨率技術為基礎，結合使用光學多幀生成技術來生成全新幀，并運用 NVIDIA Reflex 低延遲技術來優化響應速度。DLSS 3 由基于 NVIDIA Ada Lovelace 架構的全新第四代 Tensor Core 和光流加速器 (Optical Flow Acceleration) 提供支持。

啟用 DLSS 3 后，AI 會使用 DLSS 超分辨率技術重建第一幀的四分之三，并使用 DLSS 幀生成技術重建完整的第二幀。綜合來看，DLSS 3 會重建所有顯示幀的八分之七，使性能顯著提升！

DLSS 3.5

2023 年 8 月，NVIDIA 發布了 DLSS 3.5。在繼承了深度學習超采樣 (DLSS)、深度學習抗鋸齒 (DLAA) 以及隨著 DLSS 3 上線的幀生成 (Frame Generation) 技術之外，DLSS 3.5 還引入了針對性改善實時光線追蹤視覺表現的新特性：光線重建 (Ray Reconstruction) 技術。

DLSS 光線重建技術，這也是進階版 AI 驅動的神經渲染器的一部分，通過將需要人工設計的降噪器替換為 NVIDIA 超級計算機訓練的 AI 網絡（在采樣光線之間生成更高質量的像素），從而提升 RTX GPU 的光線追蹤圖像質量。

該功能可改善光線反射、全局光照和陰影等光線效果，打造更加身臨其境、真實可感的實時渲染體驗；同時，它還能對光線追蹤計算機圖形進行降噪，通過填補缺失的像素來更高效地合成最終圖像。與 DLSS 3 相比，NVIDIA DLSS 3.5 的訓練數據量增加了 5 倍，因此它能識別不同的光線追蹤效果，并在何時使用時域累積和空間差值數據方面做出更明智的決策。

DLSS 3.5 還能提高實時 3D 創作應用的圖像質量，并讓專業 3D 創作者無需花費數分鐘或數小時進行最終渲染，就能立即展示更優質的圖像。

那么，大力水手 DLSS 的實時渲染實戰表現究竟如何?持續關注，下期內容帶您觀戰、為您解密！

審核編輯：黃飛