導讀:近幾年隨著深度學習算法的發展,出現了許多深度學習框架。這些框架各有所長,各具特色。常用的開源框架有TensorFlow、Keras、Caffe、PyTorch、Theano、CNTK、MXNet、PaddlePaddle、Deeplearning4j、ONNX等。
框架名稱:TensorFlow
主要維護方:Google
框架名稱:Keras
主要維護方:Google
支持的語言:Python/R
框架名稱:Caffe
主要維護方:BVLC
支持的語言:C++/Python/Matlab
框架名稱:PyTorch
主要維護方:Facebook
支持的語言:C/C++/Python
框架名稱:Theano
主要維護方:UdeM
支持的語言:Python
框架名稱:CNTK
主要維護方:Microsoft
支持的語言:C++/Python/C#/.NET/Java/R
框架名稱:MXNet
主要維護方:DMLC
支持的語言:C++/Python/R等
框架名稱:PaddlePaddle
主要維護方:Baidu
支持的語言:C++/Python
框架名稱:Deeplearning4j
主要維護方:Eclipse
支持的語言:Java/Scala等
框架名稱:ONNX
主要維護方:Microsoft/ Facebook
支持的語言:Python/R
下面開始對各框架進行概述,讓讀者對各個框架有個簡單的認知,具體的安裝及使用方法不在本文贅述。
01 TensorFlow
谷歌的TensorFlow可以說是當今最受歡迎的開源深度學習框架,可用于各類深度學習相關的任務中。TensorFlow = Tensor + Flow,Tensor就是張量,代表N維數組;Flow即流,代表基于數據流圖的計算。
TensorFlow是目前深度學習的主流框架,其主要特性如下所述。
TensorFlow支持Python、JavaScript、C ++、Java、Go、C#、Julia和R等多種編程語言。
TensorFlow不僅擁有強大的計算集群,還可以在iOS和Android等移動平臺上運行模型。
TensorFlow編程入門難度較大。初學者需要仔細考慮神經網絡的架構,正確評估輸入和輸出數據的維度和數量。
TensorFlow使用靜態計算圖進行操作。也就是說,我們需要先定義圖形,然后運行計算,如果我們需要對架構進行更改,則需要重新訓練模型。選擇這樣的方法是為了提高效率,但是許多現代神經網絡工具已經能夠在學習過程中改進,并且不會顯著降低學習速度。在這方面,TensorFlow的主要競爭對手是PyTorch。
RStudio提供了R與TensorFlow的API接口,RStudio官網及GitHub上也提供了TensorFlow擴展包的學習資料。
02 Keras
Keras是一個對小白用戶非常友好且簡單的深度學習框架。如果想快速入門深度學習, Keras將是不錯的選擇。
Keras是TensorFlow高級集成API,可以非常方便地和TensorFlow進行融合。Keras在高層可以調用TensorFlow、CNTK、Theano,還有更多優秀的庫也在被陸續支持中。Keras的特點是能夠快速搭建模型,是高效地進行科學研究的關鍵。
Keras的基本特性如下:
高度模塊化,搭建網絡非常簡潔;
API簡單,具有統一的風格;
易擴展,易于添加新模塊,只需要仿照現有模塊編寫新的類或函數即可。
RStudio提供了R與Keras的API接口,RStudio的官網及GitHub上也提供了Keras擴展包的學習資料。
03 Caffe
Caffe是由AI科學家賈揚清在加州大學伯克利分校讀博期間主導開發的,是以C++/CUDA代碼為主的早期深度學習框架之一,比TensorFlow、MXNet、PyTorch等都要早。Caffe需要進行編譯安裝,支持命令行、Python和Matlab接口,單機多卡、多機多卡等都可以很方便使用。
Caffe的基本特性如下。
以C++/CUDA/Python代碼為主,速度快,性能高。
工廠設計模式,代碼結構清晰,可讀性和可拓展性強。
支持命令行、Python和Matlab接口,使用方便。
工具豐富,社區活躍。
同時,Caffe的缺點也比較明顯,主要包括如下幾點。
源代碼修改門檻較高,需要實現正向/反向傳播。
不支持自動求導。
不支持模型級并行,只支持數據級并行。
不適合非圖像任務。
雖然Caffe已經提供了Matlab和Python接口,但目前不支持R語言。caffeR為Caffe提供了一系列封裝功能,允許用戶在R語言上運行Caffe,包括數據預處理和網絡設置,以及監控和評估訓練過程。該包還沒有CRAN版本,感興趣的讀者可以在GitHub找到caffeR包的安裝及使用的相關內容。
04 PyTorch
PyTorch是Facebook團隊于2017年1月發布的一個深度學習框架,雖然晚于TensorFlow、Keras等框架,但自發布之日起,其受到的關注度就在不斷上升,目前在GitHub上的熱度已經超過Theano、Caffe、MXNet等框架。
PyTroch主要提供以下兩種核心功能:
支持GPU加速的張量計算;
方便優化模型的自動微分機制。
PyTorch的主要優點如下。
簡潔易懂:PyTorch的API設計相當簡潔一致,基本上是tensor、autograd、nn三級封裝,學習起來非常容易。
便于調試:PyTorch采用動態圖,可以像普通Python代碼一樣進行調試。不同于TensorFlow,PyTorch的報錯說明通常很容易看懂。
強大高效:PyTorch提供了非常豐富的模型組件,可以快速實現想法。
05 Theano
Theano誕生于2008年,由蒙特利爾大學的LISA實驗室開發并維護,是一個高性能的符號計算及深度學習框架。它完全基于Python,專門用于對數學表達式的定義、求值與優化。得益于對GU的透明使用,Theano尤其適用于包含高維度數組的數學表達式,并且計算效率比較高。
因Theano出現的時間較早,后來涌現出一批基于Theano的深度學習庫,并完成了對Theano的上層封裝以及功能擴展。在這些派生庫中,比較著名的就是本書要學習的Keras。Keras將一些基本的組件封裝成模塊,使得用戶在編寫、調試以及閱讀網絡代碼時更加清晰。
06 CNTK
CNTK(Microsoft Cognitive Toolkit)是微軟開源的深度學習工具包,它通過有向圖將神經網絡描述為一系列計算步驟。在有向圖中,葉節點表示輸入值或網絡參數,其他節點表示其輸入上的矩陣運算。
CNTK允許用戶非常輕松地實現和組合流行的模型,包括前饋神經網絡(DNN)、卷積神經網絡(CNN)和循環神經網絡(RNN、LSTM)。與目前大部分框架一樣,CNTK實現了自動求導,利用隨機梯度下降方法進行優化。
CNTK的基本特性如下。
CNTK性能較好,按照其官方的說法,它比其他的開源框架性能都要好。
適合做語音任務,CNTK本就是微軟語音團隊開源的,自然更適合做語音任務,便于在使用RNN等模型以及時空尺度時進行卷積。
微軟開發的CNTK-R包提供了R與CNTK的API接口。
07 MXNet
MXNet框架允許混合符號和命令式編程,以最大限度地提高效率和生產力。MXNet的核心是一個動態依賴調度程序,可以動態地自動并行化符號和命令操作。其圖形優化層使符號執行更快,內存效率更高。
MXNet的基本特性如下。
靈活的編程模型:支持命令式和符號式編程模型。
多語言支持:支持C++、Python、R、Julia、JavaScript、Scala、Go、Perl等。事實上,它是唯一支持所有R函數的構架。
本地分布式訓練:支持在多CPU/GPU設備上的分布式訓練,使其可充分利用云計算的規模優勢。
性能優化:使用一個優化的C++后端引擎實現并行I/O和計算,無論使用哪種語言都能達到最佳性能。
云端友好:可直接與S3、HDFS和Azure兼容。
08 ONNX
ONNX(Open Neural Network eXchange,開放神經網絡交換)項目由微軟、亞馬遜、Facebook和IBM等公司共同開發,旨在尋找呈現開放格式的深度學習模型。ONNX簡化了在人工智能不同工作方式之間傳遞模型的過程,具有各種深度學習框架的優點。
ONNX的基本特性如下。
ONNX使模型能夠在一個框架中進行訓練并轉移到另一個框架中進行預測。
ONNX模型目前在Caffe2、CNTK、MXNet和PyTorch中得到支持,并且還有與其他常見框架和庫的連接器。
onnx-r包提供了R與ONNX的API接口。
關于作者:謝佳標,資深AI技術專家和數據挖掘專家,擁有超過14年的技術研發和管理經驗。精通Python和Keras等深度學習框架,在數據挖掘和人工智能技術領域有非常深厚的積累。連續6年(2017~2022年)被微軟評為數據科學和AI方向MVP。資深R語言技術專家,“中國現場統計研究會大數據統計分會”第一屆理事。歷屆中國R語言和數據科學大會特邀演講嘉賓,受邀在國內多所高校舉行以數據主題的公益講座。
審核編輯:符乾江
-
深度學習
+關注
關注
73文章
5250瀏覽量
120024 -
遷移學習
+關注
關注
0文章
72瀏覽量
5515
發布評論請先 登錄
相關推薦
評論