使用Movidius和UP2進行乳腺癌分類

描述

浸潤性導管癌

IDC 是最常見的乳腺癌形式之一。癌癥從乳房的乳管開始并侵入周圍組織。根據美國癌癥協會的數據，這種形式的癌癥約占所有乳腺癌診斷的 80%，僅在美國，每年就有超過 180,000 名女性被診斷出患有 IDC。

IDC 分類器簡介

使用計算機視覺和物聯網的浸潤性導管癌 (IDC) 分類結合了計算機視覺和物聯網，為研究人員、醫生和學生提供了一種方法來訓練帶有標記的乳腺癌組織學圖像的神經網絡，以檢測浸潤性導管癌 (IDC)看不見/未標記的圖像。

該項目使用英特爾? Movidius的強大功能，并使用經過自定義訓練的Inception V3 模型在本地和通過服務器/客戶端進行圖像分類。IoT 通信由IoT JumpWay提供支持，并在處理本地圖像或通過 API 發送的圖像后發布結果。

免責聲明

這是我創建的一個項目，作為我的一個面部識別項目的擴展，我建議有興趣了解計算機視覺用例的開發人員、醫學研究人員和學生或醫學行業的專業人士使用它評估它是否可以幫助他們并擴展。這并不意味著可以替代使用而不是尋求專業幫助。我是開發人員，不是醫生或癌癥專家。

• 致謝：使用來自英特爾? movidius/ncsdk ( movidius/ncsdk Github )的代碼

• 致謝：使用來自 chesterkuo imageclassify-movidius ( imageclassify-movidius Github )的代碼

我們會怎樣做？

• 在 Linux 開發設備上安裝英特爾? NCSDK 。

• 在 Raspberry Pi 3 / UP Squared 上安裝英特爾? NCSDK API 。

• 在 Raspberry Pi / UP Squared 上安裝IoT JumpWay Python MQTT Client并配置 IoT JumpWay。

• 克隆并設置回購。

• 準備您的訓練數據集。

• 微調你的訓練參數。

• 在英特爾? AI DevCloud 上訓練 Inception V3 IDC 分類模型。

• 將模型轉換為適合 Movidius 的格式。

• 在 Linux 開發設備上本地測試 IDC 分類器。

• 通過服務器/客戶端進行實時 IDC 分類。

• 構建一個 IoT 連接警報，該警報將在檢測到 IDC 時觸發。

應用

使用計算機視覺和物聯網進行浸潤性導管癌 (IDC) 分類由 7 個核心應用程序組成：

• DevCloudTrainer：一個訓練程序，允許您使用英特爾? AI DevCloud 訓練卷積神經網絡。

• Evaluator：用于評估模型的評估程序。

• 分類器：用于測試模型的分類程序。

• 服務器/API：為 REST Api 提供支持的服務器，提供對分類器的訪問。

• 客戶端：可以與服務器/API 交互的客戶端。

• 物聯網連接警報：檢測到 IDC 時觸發的物聯網連接警報。

Python 版本

• 在 Python 3.5 中測試

軟件要求

• 英特爾? NCSDK

• 張量流

• IoT JumpWay Python MQTT 客戶端

• 樹皮

硬件要求

• 1 x訪問英特爾? AI DevCloud

• 1 個英特爾? Movidius

• 1 x Linux 設備，用于訓練并將訓練后的模型轉換為 Movidius 友好模型。

• 1 x Raspberry Pi 3 / UP Squared 用于分類器/服務器。

• 1 x Raspberry Pi 3 用于 IoT 連接警報。

• 1 x 用于物聯網的 Grove 入門套件，Raspberry Pi 版。

• 1 x 藍色 LED (Grove)

• 1 x 紅色 LED (Grove)

• 1 x 蜂鳴器 (Grove)

在您的開發設備上安裝 NCSDK

您需要做的第一件事是在您的開發設備上安裝 NCSDK ，這將用于將經過訓練的模型轉換為與 Movidius 兼容的格式。

 $ mkdir -p ~/workspace
 $ cd ~/workspace
 $ git clone https://github.com/movidius/ncsdk.git
 $ cd ~/workspace/ncsdk
 $ make install

接下來將您的 Movidius 插入您的設備并發出以下命令：

 $ cd ~/workspace/ncsdk
 $ make examples

在你的 Raspberry Pi 3 / UP Squared 上安裝 NCSDK

接下來，您需要在 Raspberry Pi 3 / UP Squared 設備上安裝 NCSDK ，分類器將使用它對本地圖像或通過我們將創建的 API 接收的圖像進行推理。確保已插入 Movidius。

 $ mkdir -p ~/workspace
 $ cd ~/workspace
 $ git clone https://github.com/movidius/ncsdk.git
 $ cd ~/workspace/ncsdk/api/src
 $ make
 $ sudo make install
 $ cd ~/workspace
 $ git clone https://github.com/movidius/ncappzoo
 $ cd ncappzoo/apps/hello_ncs_py
 $ python3 hello_ncs.py

物聯網 JumpWay 入門

在開始之前，您應該遵循一些教程，尤其是如果您是第一次使用IoT JumpWay Developer Program 。如果您還沒有，則需要一個IoT JumpWay Developer Program 開發者帳戶，并在開始創建 IoT 設備之前設置一些基礎知識。訪問以下IoT JumpWay 開發人員計劃文檔（閱讀/設置 5-10 分鐘）并查看引導您完成注冊和設置位置空間、區域、設備和應用程序的指南（閱讀約 5 分鐘）。

在您的 Raspberry Pi 3 / UP Squared 上安裝 IoT JumpWay Python MQTT 客戶端

接下來在您的 Raspberry Pi 3 / UP Squared 上安裝 IoT JumpWay Python MQTT 客戶端。為此，您可以執行以下命令：

 $ pip3 install JumpWayMQTT

IoT JumpWay 設備連接憑證和設置

• 為 IDC 分類器設置 IoT JumpWay 定位設備，確保設置攝像頭節點，因為您需要虛擬攝像頭的 ID 才能使項目正常工作。創建設備后，將位置 ID 和區域 ID 添加到位于model/confs.json的 confs 文件中的IoTJumpWay詳細信息，同時準確添加設備 ID 和設備名稱，將 MQTT 憑證添加到IoTJumpWayMQTT 。

您將需要編輯您的設備并添加允許它與網絡上的其他設備和應用程序自主通信的規則，但目前，這些是此時需要執行的唯一步驟。

按照IoT JumpWay 開發人員計劃 (BETA) Location Device Doc設置您的設備。

{
    "IoTJumpWay": {
        "Location": 0,
        "Zone": 0,
        "Device": 0,
        "DeviceName" : "",
        "App": 0,
        "AppName": ""
    },
    "Actuators": {},
    "Cameras": [
        {
            "ID": 0,
            "URL": 0,
            "Name": ""
        }
    ],
    "Sensors": {},
	"IoTJumpWayMQTT": {
        "MQTTUsername": "",
        "MQTTPassword": ""
    },
    "ClassifierSettings":{
        "dataset_dir":"model/train/",
        "log_dir":"model/_logs",
        "log_eval":"model/_logs_eval",
        "classes":"model/classes.txt",
        "labels":"labels.txt",
        "labels_file":"model/train/labels.txt",
        "validation_size":0.3,
        "num_shards":2,
        "random_seed":50,
        "tfrecord_filename":"200label",
        "file_pattern":"200label_%s_*.tfrecord",
        "image_size":299,
        "num_classes":2,
        "num_epochs":60,
        "dev_cloud_epochs":60,
        "test_num_epochs":1,
        "batch_size":10,
        "test_batch_size":36,
        "initial_learning_rate":0.0001,
        "learning_rate_decay_factor":0.96,
        "num_epochs_before_decay":10,
        "NetworkPath":"",
        "InceptionImagePath":"model/test/",
        "InceptionThreshold": 0.54,
        "InceptionGraph":"igraph"
    }
}

克隆回購

您需要將此存儲庫克隆到開發終端上的某個位置。導航到您要將其下載到的目錄并發出以下命令。

$ git clone https://github.com/iotJumpway/IoT-JumpWay-Intel-Examples.git

獲得存儲庫后，您需要在位于IoT-JumpWay-Intel-Examples/master/Intel-Movidius/IDC-Classification 的文件夾中找到這些文件。

準備您的 IDC 培訓數據

對于本教程，我使用了來自 Kaggle 的數據集（預測 IDC 中的乳腺癌組織學圖像），但您可以自由使用任何您喜歡的數據集。我已經上傳了我用于正面和負面圖像的集合，您可以在model/train目錄中找到它們。一旦你決定了你的數據集，你需要將你的數據安排到模型/火車中目錄。每個子目錄都要用整數命名，我用0和1來表示正負。在我的測試中，我使用了 4400 個正面示例和 4400 個負面示例，給出了 0.8596 的整體訓練準確度（參見下面的訓練結果）和 0.96 的正確識別平均置信度。提供的數據是 50px x 50px，因為 Inception V3 在大小為 299px x 299px 的圖像上進行訓練，圖像被調整為 299px x 299px，理想情況下圖像已經是那個大小所以你可能想嘗試不同的數據集并看看你的結果各不相同。

微調你的訓練參數

您可以隨時通過編輯model/confs.json文件中的分類器設置來微調網絡設置。

"ClassifierSettings":{
    "dataset_dir":"model/train/",
    "log_dir":"model/_logs",
    "log_eval":"model/_logs_eval",
    "classes":"model/classes.txt",
    "labels":"labels.txt",
    "labels_file":"model/train/labels.txt",
    "validation_size":0.3,
    "num_shards":2,
    "random_seed":50,
    "tfrecord_filename":"200label",
    "file_pattern":"200label_%s_*.tfrecord",
    "image_size":299,
    "num_classes":2,
    "num_epochs":60,
    "dev_cloud_epochs":60,
    "test_num_epochs":1,
    "batch_size":10,
    "test_batch_size":36,
    "initial_learning_rate":0.0001,
    "learning_rate_decay_factor":0.96,
    "num_epochs_before_decay":10,
    "NetworkPath":"",
    "InceptionImagePath":"model/test/",
    "InceptionThreshold": 0.54,
    "InceptionGraph":"igraph"
}

在英特爾? AI DevCloud 上訓練您的 IDC 模型

現在您已準備好將下面列出的文件和文件夾上傳到 AI DevCloud。

model
tools
DevCloudTrainer.ipynb
DevCloudTrainer.py
Eval.py

上傳后，按照DevCloudTrainer.ipynb中的說明進行操作?，此筆記本將幫助您對數據進行排序、訓練模型并對其進行評估。

培訓成果

評估你的模型

在 AI DevCloud 上完成培訓后，通過運行評估作業來完成筆記本。

INFO:tensorflow:Global Step 1: Streaming Accuracy: 0.0000 (2.03 sec/step)
INFO:tensorflow:Global Step 2: Streaming Accuracy: 0.8889 (0.59 sec/step)
INFO:tensorflow:Global Step 3: Streaming Accuracy: 0.8750 (0.67 sec/step)
INFO:tensorflow:Global Step 4: Streaming Accuracy: 0.8981 (0.65 sec/step)
INFO:tensorflow:Global Step 5: Streaming Accuracy: 0.8681 (0.76 sec/step)
INFO:tensorflow:Global Step 6: Streaming Accuracy: 0.8722 (0.64 sec/step)
INFO:tensorflow:Global Step 7: Streaming Accuracy: 0.8843 (0.64 sec/step)
-------------------------------------------------------------------------
INFO:tensorflow:Global Step 68: Streaming Accuracy: 0.8922 (0.81 sec/step)
INFO:tensorflow:Global Step 69: Streaming Accuracy: 0.8926 (0.70 sec/step)
INFO:tensorflow:Global Step 70: Streaming Accuracy: 0.8921 (0.63 sec/step)
INFO:tensorflow:Global Step 71: Streaming Accuracy: 0.8929 (0.84 sec/step)
INFO:tensorflow:Global Step 72: Streaming Accuracy: 0.8932 (0.75 sec/step)
INFO:tensorflow:Global Step 73: Streaming Accuracy: 0.8935 (0.61 sec/step)
INFO:tensorflow:Global Step 74: Streaming Accuracy: 0.8942 (0.67 sec/step)
INFO:tensorflow:Final Streaming Accuracy: 0.8941

下載您的模型

訓練完成后，您需要將model/DevCloudIDC.pb和model/classes.txt下載到開發機器上的模型目錄，確保 Movidius 已設置并連接，然后在開發機器上運行以下命令：

$ cd ~/IoT-JumpWay-Intel-Examples/master/Intel-Movidius/IDC-Classification
$ ./DevCloudTrainer.sh

DevCloudTrainer.sh的內容如下：

#IDC Classification Trainer
mvNCCompile model/DevCloudIDC.pb -in=input -on=InceptionV3/Predictions/Softmax -o igraph
python3.5 Classifier.py InceptionTest

• 為 Movidius 編譯模型

• 測試

測試您的 IDC 模型

一旦 shell 腳本完成，測試程序就會啟動。在我的示例中，我有兩個類別 0 和 1（IDC 負和 IDC 正），分類 0 表示 AI 認為圖像不是 IDC 正，分類 1 是正。

-- Loaded Test Image model/test/negative.png
-- DETECTION STARTING
-- STARTED: :  2018-04-24 14:14:26.780554
-- DETECTION ENDING
-- ENDED:  2018-04-24 14:14:28.691870
-- TIME: 1.9114031791687012
*******************************************************************************
inception-v3 on NCS
*******************************************************************************
0 0 0.9873
1 1 0.01238
*******************************************************************************
-- Loaded Test Image model/test/positive.png
-- DETECTION STARTING
-- STARTED: :  2018-04-24 14:14:28.699254
-- DETECTION ENDING
-- ENDED:  2018-04-24 14:14:30.577683
-- TIME: 1.878432035446167?
TASS Identified IDC with a confidence of 0.945
-- Published to Device Sensors Channel
*******************************************************************************
inception-v3 on NCS
*******************************************************************************
1 1 0.945
0 0 0.05542
*******************************************************************************
-- INCEPTION V3 TEST MODE ENDING
-- ENDED:  2018-04-24 14:14:30.579247
-- TESTED:  2
-- IDENTIFIED:  1
-- TIME(secs): 3.984593152999878

為您的實時 IDC 模型提供服務

現在我們都經過培訓和測試，是時候設置服務 API 的服務器了。為此，我提供了Server.py和Client.py

以下說明將幫助您設置服務器并測試正面和負面預測：

• 如果您在乳腺癌組織學圖像數據集中使用了 Predict IDC，則可以使用來自該數據集的positive.png和negative.png ，否則您應該從測試集中選擇一個正例和負例并替換這些圖像。

• 服務器當前設置為在本地主機上啟動，如果您想更改此設置，您需要編輯Server.py的第 281 行和Client.py的第 38 行以匹配您想要的主機。一旦一切正常，如果您打算讓它繼續運行并從外部世界訪問它，您應該使用 LetsEncrypt 或類似工具來保護它。

• 將以下文件和文件夾上傳到您要用于服務器的 UP Squared 或 Raspberry Pi 3。

model/test/
model/classes.txt
model/confs.json
tools
igraph
Server.py

• 打開終端并導航到包含 Server.py 的文件夾，然后發出以下命令。這將啟動服務器并等待接收圖像進行分類。

$ python3.5 Server.py

• 如果您已完成上述所有步驟，您現在可以使用以下命令在您的開發計算機上啟動客戶端：

$ python3.5 Client.py

這會將陽性和陰性組織學幻燈片發送到 Raspberry Pi 3 / UP Squared，后者將返回預測。

!! Welcome to IDC Classification Client, please wait while the program initiates !!
-- Running on Python 3.5.2 (default, Nov 23 2017, 16:37:01)
[GCC 5.4.0 20160609]
-- Imported Required Modules
-- IDC Classification Client Initiated
{'Response': 'OK', 'ResponseMessage': 'IDC Detected!', 'Results': 1}
{'Response': 'OK', 'ResponseMessage': 'IDC Not Detected!', 'Results': 0}
* Running on http://0.0.0.0:7455/ (Press CTRL+C to quit)
-- IDC CLASSIFIER LIVE INFERENCE STARTING
-- STARTED: :  2018-04-24 14:25:36.465183
-- Loading Sample
-- Loaded Sample
-- DETECTION STARTING
-- STARTED: :  2018-04-24 14:25:36.476371
-- DETECTION ENDING
-- ENDED:  2018-04-24 14:25:38.386121
-- TIME: 1.9097554683685303
TASS Identified IDC with a confidence of 0.945
-- Published: 2
-- Published to Device Warnings Channel
-- Published: 3
-- Published to Device Sensors Channel
*******************************************************************************
inception-v3 on NCS
*******************************************************************************
1 1 0.945
0 0 0.05542
*******************************************************************************
-- IDC CLASSIFIER LIVE INFERENCE ENDING
-- ENDED:  2018-04-24 14:25:38.389217
-- TESTED:  1
-- IDENTIFIED:  1
-- TIME(secs): 1.9240257740020752
192.168.1.40 - - [24/Apr/2018 14:25:38] "POST /api/infer HTTP/1.1" 200 -
-- IDC CLASSIFIER LIVE INFERENCE STARTING
-- STARTED: :  2018-04-24 14:25:43.422319
-- Loading Sample
-- Loaded Sample
-- DETECTION STARTING
-- STARTED: :  2018-04-24 14:25:43.432647
-- DETECTION ENDING
-- ENDED:  2018-04-24 14:25:45.310354
-- TIME: 1.877711534500122
-- Published: 4
-- Published to Device Warnings Channel
-- Published: 5
-- Published to Device Sensors Channel
*******************************************************************************
inception-v3 on NCS
*******************************************************************************
0 0 0.9873
1 1 0.01238
*******************************************************************************
-- IDC CLASSIFIER LIVE INFERENCE ENDING
-- ENDED:  2018-04-24 14:25:45.313174
-- TESTED:  1
-- IDENTIFIED:  0
-- TIME(secs): 1.89084792137146
192.168.1.40 - - [24/Apr/2018 14:25:45] "POST /api/infer HTTP/1.1" 200 -

構建物聯網連接警報

下一步是設置您的 Raspberry Pi 3，以便 IDC 服務器可以通過 IoT JumpWay 與其通信。為此，我已經為 IoT JumpWay Raspberry Pi 開發套件 IoT 警報創建了一個教程，它將指導您完成此過程。唯一的區別是你不需要設置Python命令應用程序，因為在這個項目中，IDC服務器將取代Python命令應用程序，為了節省時間，請只按照Device.py而不是Application.py的步驟. 您需要取消注釋第 104 - 107 行以確保 LED 和蜂鳴器在一段時間后關閉，您可以更新第 107 行以設置讓它們運行的??時間量。

您將在以下鏈接中找到教程：IoT JumpWay Raspberry Pi Dev Kit IoT Alarm

完成該教程并設置設備后，請返回此處完成最后的集成步驟。

設置你的規則

您現在已準備好執行最后的步驟，此時您應該已設置好所有內容，并且您的 Raspberry Pi 開發套件 IoT Alarm 應該正在運行并連接到 IoT JumpWay 以等待指令。

接下來我們將設置允許 IDC 服務器自主控制您的 Raspberry Pi Dev Kit IoT Alarm 的規則。返回 IDC 設備編輯頁面。向下滾動到您添加相機節點的下方，您將看到您可以添加規則。

我們要添加的規則如下：

• 當識別到 IDC 時，打開紅色 LED。

• 當識別到 IDC 時，打開蜂鳴器。

• 當未識別到 IDC 時，點亮藍色 LED。

這些事件將由 IDC 分類器/服務器發送的警告消息觸發，因此在On Event Of下拉列表中，選擇WARNING 。然后您需要選擇您添加到 IDC 設備的攝像頭節點，因為這是警告將來自的傳感器。接下來在With Warning Of中選擇RECOGNIZED ，這意味著當 IoT JumpWay 收到 IDC 已被識別的警告消息時將觸發規則，然后為Take The Following Action部分選擇Send Device Command ，選擇 Raspberry Pi Dev Kit IoT Alarm 作為設備，紅色 LED 作為傳感器/執行器，TOGGLE作為動作并作為命令。這將告訴樹莓派在檢測到 IDC 時打開紅燈，對蜂鳴器重復此過程。最后對藍色 LED 重復 LED 命令，但在With Warning Of中使用NOT RECOGNIZED并選擇代表您在 Raspberry Pi 上設置的藍色 LED 的 ID。

查看您的數據

當程序處理圖像時，它會發送與IoT JumpWay相關的傳感器和警告數據。您將能夠訪問IoT JumpWay Developers Area中的數據。登錄開發人員專區后，訪問IoT JumpWay 定位設備頁面，找到您的設備，然后訪問傳感器數據頁面以查看從設備發送的數據。您還可以在命令選項卡下的 Raspberry Pi 設備頁面中查看 Raspberry Pi 的命令消息。

錯誤/問題

請隨時為您在使用此問題或任何其他與英特爾? 相關的 IoT JumpWay 問題時遇到的錯誤和一般問題創建問題。在您的 IoT 項目中使用 IoT JumpWay 時，您還可以使用問題區域尋求一般幫助。

?

?