TensorFlow實戰之深度學習框架的對比

Google近日發布了TensorFlow 1.0候選版，這第一個穩定版將是深度學習框架發展中的里程碑的一步。自TensorFlow于2015年底正式開源，距今已有一年多，這期間TensorFlow不斷給人以驚喜。在這一年多時間，TensorFlow已從初入深度學習框架大戰的新星，成為了幾近壟斷的行業事實標準。本文節選自《TensorFlow實戰》第二章。

主流深度學習框架對比

深度學習研究的熱潮持續高漲，各種開源深度學習框架也層出不窮，其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon，等等。然而TensorFlow卻殺出重圍，在關注度和用戶數上都占據絕對優勢，大有一統江湖之勢。表2-1所示為各個開源框架在GitHub上的數據統計（數據統計于2017年1月3日），可以看到TensorFlow在star數量、fork數量、contributor數量這三個數據上都完勝其他對手。

究其原因，主要是Google在業界的號召力確實強大，之前也有許多成功的開源項目，以及Google強大的人工智能研發水平，都讓大家對Google的深度學習框架充滿信心，以至于TensorFlow在2015年11月剛開源的第一個月就積累了10000+的star。其次，TensorFlow確實在很多方面擁有優異的表現，比如設計神經網絡結構的代碼的簡潔度，分布式深度學習算法的執行效率，還有部署的便利性，都是其得以勝出的亮點。如果一直關注著TensorFlow的開發進度，就會發現基本上每星期TensorFlow都會有1萬行以上的代碼更新，多則數萬行。產品本身優異的質量、快速的迭代更新、活躍的社區和積極的反饋，形成了良性循環，可以想見TensorFlow未來將繼續在各種深度學習框架中獨占鰲頭。

表2-1 各個開源框架在GitHub上的數據統計

觀察表1還可以發現，Google、Microsoft、Facebook等巨頭都參與了這場深度學習框架大戰，此外，還有畢業于伯克利大學的賈揚清主導開發的Caffe，蒙特利爾大學Lisa?Lab團隊開發的Theano，以及其他個人或商業組織貢獻的框架。另外，可以看到各大主流框架基本都支持Python，目前Python在科學計算和數據挖掘領域可以說是獨領風騷。雖然有來自R、Julia等語言的競爭壓力，但是Python的各種庫實在是太完善了，Web開發、數據可視化、數據預處理、數據庫連接、爬蟲等無所不能，有一個完美的生態環境。僅在數據挖據工具鏈上，Python就有NumPy、SciPy、Pandas、Scikit-learn、XGBoost等組件，做數據采集和預處理都非常方便，并且之后的模型訓練階段可以和TensorFlow等基于Python的深度學習框架完美銜接。

表2-1和圖2-1所示為對主流的深度學習框架TensorFlow、Caffe、CNTK、Theano、Torch在各個維度的評分，本書2.2節會對各個深度學習框架進行比較詳細的介紹。

表2-2 主流深度學習框架在各個維度的評分

圖2-1??主流深度學習框架對比圖

各深度學習框架簡介

在本節，我們先來看看目前各流行框架的異同，以及各自的特點和優勢。

TensorFlow
TensorFlow是相對高階的機器學習庫，用戶可以方便地用它設計神經網絡結構，而不必為了追求高效率的實現親自寫C++或CUDA代碼。它和Theano一樣都支持自動求導，用戶不需要再通過反向傳播求解梯度。其核心代碼和Caffe一樣是用C++編寫的，使用C++簡化了線上部署的復雜度，并讓手機這種內存和CPU資源都緊張的設備可以運行復雜模型（Python則會比較消耗資源，并且執行效率不高）。除了核心代碼的C++接口，TensorFlow還有官方的Python、Go和Java接口，是通過SWIG（Simplified?Wrapper?and?Interface?Generator）實現的，這樣用戶就可以在一個硬件配置較好的機器中用Python進行實驗，并在資源比較緊張的嵌入式環境或需要低延遲的環境中用C++部署模型。SWIG支持給C/C++代碼提供各種語言的接口，因此其他腳本語言的接口未來也可以通過SWIG方便地添加。不過使用Python時有一個影響效率的問題是，每一個mini-batch要從Python中feed到網絡中，這個過程在mini-batch的數據量很小或者運算時間很短時，可能會帶來影響比較大的延遲?，F在TensorFlow還有非官方的Julia、Node.js、R的接口支持。