在LabVIEW中調用OpenVINO? 模型

1.1

什么是LabVIEW？

LabVIEW測試測量與自動化行業常用，圖形化開發環境，其優點有：

1

圖形化開發環境，學習容易入門快

2

自帶機器視覺函數庫，并提供OpenCV接口庫，開發機器視覺與自動化應用程序速度快

使用LabVIEW調用OpenVINO IR模型，可以快速完成深度學習項目開發與交付。

LabVIEW詳細介紹參考：

https://www.ni.com/zhcn/shop/labview.html

1.2

準備開發環境

要完成在LabVIEW中調用OpenVINO 模型，需要安裝：

1

LabVIEW、Vision Development Module和NIVision OpenCV Utilities

2

Visual Studio 2019 Community；

3

OpenVINO 2021.4.2 LTS

1.2.1

安裝LabVIEW

LabVIEW請從下列網址下載安裝文件，通過NI Package Manager完成安裝。

https://www.ni.com/zh-cn/support/downloads/software-products/download.labview.html#411431

需要注意的是：選擇LabVIEW 64位版本，并同時安裝Vision Development模塊，安裝完畢后至少保證如圖1-1所示的打鉤模塊都已安裝。

圖1-1 安裝LabVIEW和Vision Development模塊

“以管理員身份運行”JKI VI Package Manager，搜索并安裝NIVision OpenCV Utilities，如圖1-2所示。

圖1-2 安裝NIVision OpenCV Utilities

從C:Program FilesNational InstrumentsLabVIEW 2021examplesVisionNIVision OpenCV Utilities文件夾中打開任意一個范例程序，若成功運行，證明安裝成功，如圖1-3所示。

圖1-3 安裝NIVision OpenCV Utilities成功

1.2.1

安裝Visual Studio 2019 Community

和OpenVINO工具套件

從https://visualstudio.microsoft.com/zh-hans/downloads/中下載并安裝Visual Studio 2019 Community。

從https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html 中下載并安裝OpenVINO工具套件

1.3

準備OpenVINO IR模型

請參考本文的姊妹篇《PPYOLOv2模型從訓練到OpenVINO部署-上篇》完成PPYOLOv2模型的部署，《PPYOLOv2模型從訓練到OpenVINO部署-下篇》完成將PPYOLOv2飛槳模型轉換為OpenVINO IR模型。

讀者可以從https://github.com/dlod-openvino/ppyolov2_openvino_samples中下載已轉換好的OpenVINO IR模型

1.4

編寫OpenVINOAPI的LabVIEWWrapper

1.4.1

定義存儲InferenceEngine的結構體

定義存儲Inference Engine的結構體如代碼清單1-1所示，方便創建和刪除。

代碼清單1-1 Inference Engine結構體

//定義結構體，存儲與InferenceEngine相關的變量

typedefstructlv_infer_engine{

Coreie;//ie對象

ExecutableNetworkexec_net;

InferRequestinfer_request;

}InferEngineStruct;

1.4.2

創建ppyolov2_init函數

創建ppyolov2_init函數,主要是創建指向InferEngine的指針，并反回給LabVIEW。

代碼清單1-2 ppyolov2_init函數

//創建指向InferEngine的指針，并反饋給LabVIEW

EXTERN_CNI_EXPORTvoid*ppyolov2_init(char*model_xml_file,char*device_name,NIErrorHandleerrorHandle){

InferEngineStruct*p=newInferEngineStruct();

p->exec_net=p->ie.LoadNetwork(model_xml_file,device_name);

p->infer_request=p->exec_net.CreateInferRequest();

return(void*)p;

}

1.4.3

創建ppyolov2_predict函數

創建ppyolov2_predict函數，用于執行ppyolov2模型預測功能。

代碼清單1-3 ppyolov2函數

EXTERN_CvoidNI_EXPORTppyolov2_predict(NIImageHandlesourceHandle,void*pInferEngine,char*bbox_name,char*bbox_num_name,float*detections,NIErrorHandleerrorHandle){

NIERRORerror=NI_ERR_SUCCESS;

ReturnOnPreviousError(errorHandle);

try{

NIImagesource(sourceHandle);

MatsourceMat;

InferEngineStruct*p=(InferEngineStruct*)pInferEngine;

//從NIImage對象中淺拷貝圖像數據到

Mat對象

ThrowNIError(source.ImageToMat(sourceMat));

autotype=source.type;

Blob::Ptrimage_blob=p->infer_request.GetBlob("image");

autoinput_H=image_blob->getTensorDesc().getDims()[2];

autoinput_W=image_blob->getTensorDesc().getDims()[3];

//交換RB通道

cv::Matblob;

cv::cvtColor(sourceMat,blob,cv::COLOR_BGRA2RGB);

//放縮圖片到(input_H,input_W)

cv::resize(blob,blob,cv::Size(input_H,input_W),0,0,cv::INTER_LINEAR);

//圖像數據歸一化，減均值mean，除以方差std

//PaddleDetection模型使用imagenet數據集的Mean=[0.485,0.456,0.406]和std=[0.229,0.224,0.225]

vectormean_values{0.485*255,0.456*255,0.406*255};

vectorstd_values{0.229*255,0.224*255,0.225*255};

vectorrgbChannels(3);

split(blob,rgbChannels);

for(autoi=0;i

{

rgbChannels[i].convertTo(rgbChannels[i],CV_32FC1,1.0/std_values[i],(0.0-mean_values[i])/std_values[i]);

}

merge(rgbChannels,blob);

fillBlobImage(image_blob,blob);

constfloatscale_h=float(input_H)/float(sourceMat.rows);

constfloatscale_w=float(input_W)/float(sourceMat.cols);

constpairscale_factor(scale_h,scale_w);

autoscale_factor_blob=p->infer_request.GetBlob("scale_factor");

fillBlobImInfo(scale_factor_blob,scale_factor);

constpairim_shape(input_H,input_W);

autoim_shape_blob=p->infer_request.GetBlob("im_shape");

fillBlobImInfo(im_shape_blob,im_shape);

p->infer_request.Infer();

constfloat*infer_results=p->infer_request.GetBlob(bbox_name)->buffer().as();

constint*bbox_nums=p->infer_request.GetBlob(bbox_num_name)->buffer().as();

autobbox_num=bbox_nums[0];

for(inti=0;i

detections[i*6+0]=infer_results[i*6+0];

detections[i*6+1]=infer_results[i*6+1];

detections[i*6+2]=infer_results[i*6+2];

detections[i*6+3]=infer_results[i*6+3];

detections[i*6+4]=infer_results[i*6+4];

detections[i*6+5]=infer_results[i*6+5];

}

}

catch(NIERROR_err){

error=_err;

}

catch(...){

error=NI_ERR_OCV_USER;

}

ProcessNIError(error,errorHandle);

}

1.4.4

創建ppyolov2_delete函數

創建ppyolov2_delete函數，用于釋放ppyolov2_init創建的內存。

代碼清單1-4 ppyolov2_delete函數

EXTERN_CvoidNI_EXPORTppyolov2_delete(void*pInferEngine,NIErrorHandleerrorHandle){

NIERRORerror=NI_ERR_SUCCESS;

ReturnOnPreviousError(errorHandle);

InferEngineStruct*p=(InferEngineStruct*)pInferEngine;

deletep;

}

1.4.5

LabVIEW 中調用三個函數

在Visual Studio中將三個函數編譯為dll，并在LabVIEW中調用，參考范例lv_opencv_demo.vi，運行結果如下所示。

圖1-4 LabVIEW中調用三個API函數

以上代碼可以從代碼倉中下載：

https://github.com/dlod-openvino/ppyolov2_openvino_samples

審核編輯 ：李倩