1. 功能描述
本設計方案致力于解決目標:建設包容、安全、有抵御災害能力和可持續的城市和人類住區中的交通問題,在此提出一種基于OpenHarmony實現道路維護的方案,通過深度學習的方式對道路的裂縫進行實時檢測,增加道路的可持續使用性。
由于傳統的道路裂縫檢測精度和距離有限,大部分仍需要人工檢測,而人工裂縫檢測的過程又十分的繁瑣,檢測的實時性與高效性普遍較低。本方案基于海思HI3516DV300圖像化處理方法,并部署深度學習模型,對道路裂縫進行檢測。
話不多說,我們先上圖上視頻:檢測電路正視圖:視頻展示:2. 方案基線2.1 工程版本:
- 系統版本/API版本:OpenHarmony 3.X小型系統
- IDE版本:DeEco Device Tool Release 3.0.0.401
./darknet detector train hand.data cfg/resnet18.cfg
3.3YOLO v2受到faster rcnn的啟發,引入了anchor。同時使用了K-Means方法,對anchor數量進行了討論,在精度和速度之間做出折中。并且修改了網絡結構,去掉了全連接層,改成了全卷積結構。在訓練時引入了世界樹結構,將檢測和分類問題做成了一個統一的框架,并且提出了一種層次性聯合訓練方法。3.4檢測訓練數據本次檢測網選擇了2000張帶有道路裂縫的圖像進行標注,在搭建好的服務器進行30200次迭代,直至模型收斂。3.5resnet18.cfg配置framework > darkness-master > cfg > resnet18.cfg部分配置如下:
# subdivisions=1
# Testing
batch=48
subdivisions=8
height-384
width=640
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=0.1
learning rate=0.01
burn in=10000
max batches = 300200
policy=steps
steps=100000, 200000, 250001
scales=.1,.1,.1
3.6模型訓練IOU值接近0.98 class值接近0.99999 Obj值在0.003以下。3.7權重推理在服務器進行權重的推理:
4. 分類網分類網選擇resnet18。4.1分類訓練數據分類網的訓練數據集分為11000左右的道路裂縫圖片,10000左右的無裂縫圖片,在服務器上迭代300次,直至模型收斂。Creak_Image部分:
NoCreak_Image部分:
4.2訓練模型
5. 環境搭建5.1模型轉換對pytorch訓練得到的模型權重首先將轉換為caffe模型。5.1.1 檢測網得到的權重轉換檢測網得到的權重轉換為caffe模型需要在caffe環境下并安裝torch環境
代碼地址:https://github.com/ChenYingpeng/darknet2caffe
轉換命令:python darknet2caffe.py resnet18.cfg resnet18_new_final.weights resnet18.prototxt resnet18.caffemodel
5.1.2 分類網得到的權重轉換分類網得到的權重轉換為caffe模型需要在caffe環境下并需要依賴torch和torchvison
代碼地址:https://codeload.github.com/xxradon/PytorchToCaffe/zip/refs/heads/master
轉換命令:python example/resnet_pytorch_2_caffe.py
5.2 開發環境本次采用windows+ubuntu混合開發,具體操作流程可參考HarmonyOS Device社區:
https://device.harmonyos.com/cn/docs/documentation/guide/ide-install-windows-ubuntu-0000001194073744
5.3模型量化得到的caffe模型后使用Ruyistudio工具對.prototxt進行量化,并在此之前修改prototxt文件進行適配使得NNIE(編者注:是Neural Network Inference Engine 神經網絡計算引擎的英文縮寫)能夠支持網絡結構,最終生成WK文件。5.4板端適配將得到的WK文件在OpenHarmony中基于SDK sampled的網絡進行修改,適配 ,配置依賴 ,編譯(在此之前OpenHarmony小型系統的主干代碼已經整體編譯通過),最終生成可執行文件,并掛在到HI3516DV300板端。5.5加載文件檢測網生成的WK文件在OpenHarmony中編譯后得到可執行文件,并掛載板端,啟動開發板應用驅動,加載可執行文件
驅動命令 :insmod hi_mipi_tx.ko
加載文件 :./ohos_yolov2_creak_demo 1
分類網生成的WK文件在OpenHarmony中編譯后得到可執行文件,并掛載板端,啟動開發板應用驅動,加載可執行文件
驅動命令:insmod hi_mipi_tx.ko
加載文件:./ohos_cnn_creak_demo 0
6. 實驗效果6.1 檢測效果:
6.2 Creak分類效果:
Creak分類效果高達100%
6.3 NoCreak分類效果:
NoCreak分類效果高達97%
寫在最后我們最近正帶著大家玩嗨OpenHarmony。如果你有好玩的東東,歡迎投稿,讓我們一起嗨起來!有點子,有想法,有Demo,立刻聯系我們:合作郵箱:zzliang@atomsource.org
原文標題:玩嗨OpenHarmony:基于OpenHarmony的道路維護方案
文章出處:【微信公眾號:開源技術服務中心】歡迎添加關注!文章轉載請注明出處。
-
OpenHarmony
+關注
關注
23文章
3380瀏覽量
15194
原文標題:玩嗨OpenHarmony:基于OpenHarmony的道路維護方案
文章出處:【微信號:開源技術服務中心,微信公眾號:共熵服務中心】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論