GraphPipe深度學(xué)習模型部署框架

GraphPipe 是甲骨文開(kāi)源的通用深度學(xué)習模型部署框架。官方對 GraphPipe 的定義為，這是一種協(xié)議和軟件集合，旨在簡(jiǎn)化機器學(xué)習模型部署并將其與特定于框架的模型實(shí)現分離。

甲骨文表示，這一新工具可提供跨深度學(xué)習框架的模型通用 API、開(kāi)箱即用的部署方案以及強大的性能。

GraphPipe 為在網(wǎng)絡(luò )上傳遞張量數據(tensor data)提供了一個(gè)標準、高性能的協(xié)議，以及提供了客戶(hù)端和服務(wù)器的簡(jiǎn)單實(shí)現，因而使得從任何框架部署和查詢(xún)機器學(xué)習模型變得輕而易舉。GraphPipe 的高性能服務(wù)器支持 TensorFlow、PyTorch、MXNet、CNTK 和 Caffe2。

GraphPipe 包括

• 一組 flatbuffer 定義

• 根據 flatbuffer 定義一致的模型的指南

• 來(lái)自各種機器學(xué)習框架的模型的示例

• 用于通過(guò) GraphPipe 查詢(xún)模型的客戶(hù)端庫

GraphPipe 功能特性

• 基于?flatbuffers?的極簡(jiǎn)機器學(xué)習傳輸規范

• 適用于?Tensorflow，Caffe2?和?ONNX 的簡(jiǎn)單高效參考模型服務(wù)器(reference model servers)

• Go，Python 和 Java 的高效客戶(hù)端實(shí)現

使用這些工具，企業(yè)應該可跨多個(gè)服務(wù)器進(jìn)行模型的部署，或者使用通用協(xié)議從不同的框架創(chuàng )建模型集合。GraphPipe 可以幫助為依賴(lài)遠程運行模型的物聯(lián)網(wǎng)應用程序部署機器學(xué)習。