AI系統的建立必須估計算法的泛化能力

在新數據中，深度學習系統執行（泛化）能力如何？其性能如何？要想建立AI系統的信賴度和可靠性，必須估計算法的泛化能力。我們能信任AI嗎？AI是否會像人類酗酒一樣毫無顧忌？一但AI啟動，是否會毀滅世界？AI系統必須安全可靠，一旦啟動AI，算法才能按預期執行。確保AI算法性能良好是提高其采用度和信任度的必由之路 [5]。

此外，決策人在歐盟委員會發布的《可信賴AI的倫理準則》（《ETHICS GUIDELINES FOR TRUSTWORTHY AI》）中明確規定要了解算法的泛化能力。

然而，模型泛化性（泛化理論）研究領域依然投資不足。目前唯一可繼續且可行的標準方法是進行數據拆分、驗證集和測試集。然而，盡管在無法量化算法的泛化能力時，在測試（留出）集上進行估計不失明智；但這一過程非常棘手，可能發生數據泄漏的風險，需要另外進行獨立性假設（獨立性驗證的參數單獨從留出集中選出），但會與p-hacking 等實踐所混淆[20]。

數據是由潛在的未知分布D生成的，這是上述工作的關鍵性假設。統計學習并非直接訪問分布，而是假定給出了訓練樣本S，其中S的每個元素均由D生成，并呈獨立同分布。學習算法從函數空間（假設類）H中選擇函數（假設h），其中H = {f（x，α）}，α是參數向量。

于是，假設h的泛化誤差可定義為：從分布D中選取的樣本x的預期誤差與經驗損失（給定樣本S上的損失）之間的差值 [4,11]。我們的任務是給泛化錯誤設定上限，看究竟會出現多么嚴重的泛化錯誤。

傳統泛化理論中，根據假設類H的復雜度（容量）建立泛化能力模型。簡單來說，類的“容量”取決于可以在這個類上擬合良好的數據集的數量。類的容量越大，這個類就越靈活，但也越容易過度擬合。[..]容量控制使用的是更加靈活的模型，以獲得良好擬合，那些非常靈活但過度擬合的模型則棄之不用。如何界定假設類H的復雜性？傳統泛化理論概念包括VC維、Rademacher復雜度和PAC-Bayes邊界。

VC（Vapnik-Chervonenkis）維是一種通過評估函數彎曲程度來衡量函數類的復雜度的一種方式，H類的VC維即可以被H打散的最大樣本點數目。如果一組樣本點都能被函數打散，無論為一組內所有樣本點分配什么樣的二進制標簽，該類樣本都可以將其完美分離。

Zhang等人的實驗[7]表明，在現實數據中訓練的深網真實的“參數復雜度”目前無人知曉，20多年前巴特利特（Bartlett）的VC計算（#節點數*＃層）只是一個粗略設定的上限[ 2]。死亡神經元的實驗數據表明，當網絡足夠大，并使用非線性激活函數ReLU時，許多權重為零，這一點可能不足為奇。

PAC（可能近似正確）可學習性的定義很簡單，即存在一種算法，對于每個分布D和，δ> 0，找到具有概率1-δ的“-最優”假設。每個分布都有一個算法的呼聲十分強烈，即Rademacher復雜度反而針對特定但未知的分布D而定義。簡而言之，Rademacher復雜度衡量假設類H的能力，以適應隨機±1二進制標簽。與VC維相比，Rademacher復雜度取決于分布，可用于任何類別的實值函數（不僅是離散值函數）。

正如Bartlett的VC維計算，Rademacher復雜度缺乏有效的深度學習泛化界限。事實上，實驗測試表明，許多神經網絡用任意標簽完美擬合訓練集，于是，我們也希望相應模型H的Rademacher復雜度臻于完美。當然，這只是Rademacher復雜度的一個微不足道的上限，在現實環境中得不到有用的泛化界限[7]。

換句話說，理論研究尚未取得有效成果，只能從“煉金術”或一些最佳實踐中尋找解決辦法。有實踐表明：對Rademacher這種復雜學習架構來說，能夠真正降低其復雜度的唯一方法是使用訓練分類器，并通過留出集檢測缺少的泛化。世界上每一位從業者其實無意中已經做到了這一點。張等人的研究（[7]）得出的結論目前在該領域無人超越，獲得了認同。

與之相關的另一個容量測量是網絡的利普希茨常數。利普希茨常數是權值矩陣的譜范數的乘積。譜范數是矩陣的最大奇異值：矩陣可以拉伸一個向量[9]。利普希茨常數與超額風險相關（測試誤差減去訓練誤差）。然而，盡管風險過高，但這一度量隨著時間的推移而增長[4];其增長可以通過利普希茨常數的間距抵消掉，重復抵消可使增長歸一化（見圖4）

泛化的基本定理表明，如果訓練集具有m個樣本，那么定義為訓練數據和測試數據誤差間差異的泛化誤差是sqrt（N'/ m）的量級，其中N'是網絡有效參數的數量 [或復雜度度量] [23,24]。采用具有N個可訓練參數的矩陣C，并嘗試將其壓縮為另一個具有較少參數（N''）的C'和與C大致相同的訓練誤差。根據泛化基本定理，只要訓練樣本的數量超過N''，那么C'（壓縮網?。┚湍苓M行良好的泛化[23,24]。

除了“彩票票據方法”之外，還有很多其他有趣的網絡壓縮方法。其中一個非常有吸引力的想法受到了TensorNetworks的啟發：“Tensor Train”的概念顯示了DNN全連接層的權值矩陣，顯示出已經很有希望的實證結果[17]。盡管這種壓縮通常需要重新訓練壓縮網絡，但[25]提供了對網絡壓縮方法的調查，這是基于[23,24]提供的基本定理和壓縮的泛化理論的方法所沒有考慮到的地方。