嵌入式快訊：M1808 AI 核心板和基于Transformer的車道線檢測網絡

導讀：本期為 AI 嵌入式簡報：

今日推送干貨多多，為關注嵌入式AI的你量身定制~

1. 澎峰科技CEO張先軼詳解利用AI開發板實現面向無人機的嵌入式視覺應用開發

本文為澎峰科技CEO張先軼在智東西主辦的“無人機視覺創新論壇”的演講內容。張先軼老師的演講主題為《利用AI開發板實現面向無人機的嵌入式視覺應用開發》。

在本次演講中，張先軼老師首先介紹了AI開發板硬件選型，之后對嵌入式AI軟件性能和相關算法的優化展開詳細分析。

本文為此次演講的圖文整理。

演講的主題為《利用AI開發板實現面向無人機的嵌入式視覺應用開發》，內容主要分為以下3個部分：

1、AI開發板硬件選型

2、嵌入式AI軟件性能優化

3、嵌入式AI算法模型

2. TensorFlow為新舊Mac特供新版本，GPU可用于訓練，速度最高提升7倍

蘋果「一呼百應」的號召力在機器學習領域似乎也不例外。新版 Mac 推出還不到兩周，谷歌就把專為 Mac 優化的 TensorFlow 版本做好了，訓練速度最高提升到原來的 7 倍。
對于開發者、工程師、科研工作者來說，Mac 一直是非常受歡迎的平臺，也有人用 Mac 訓練神經網絡，但訓練速度一直是一個令人頭疼的問題。

上周，蘋果發布了搭載 Arm 架構 M1 芯片的三款新 Mac，于是就有人想問：用它們訓練神經網絡能快一點嗎？

今天，主流機器學習框架 TensorFlow 發文表示：我們專門做了一版為 Mac 用戶優化的 TensorFlow 2.4 框架，M1 版 Mac 和英特爾版 Mac 都能用。這一舉動有望大幅降低模型訓練和部署的門檻。

4. 420 FPS！LSTR：基于Transformer的車道線檢測網絡

論文：https://arxiv.org/abs/2011.04233

代碼即將開源！

https://github.com/liuruijin17/LSTR

性能優于PolyLaneNet等網絡，速度可高達420 FPS！

車道線檢測是將車道識別為近似曲線的過程，被廣泛用于自動駕駛汽車的車道線偏離警告和自適應巡航控制。流行的分兩步解決問題的pipeline：特征提取和后處理。雖然有用，但效率低下，在學習全局上下文和通道的長而細的結構方面存在缺陷。

本文提出了一種端到端方法，該方法可以直接輸出車道形狀模型的參數，使用通過transformer構建的網絡來學習更豐富的結構和上下文。車道形狀模型是基于道路結構和攝像頭姿勢制定的，可為網絡輸出的參數提供物理解釋。transformer使用自我注意機制對非局部交互進行建模，以捕獲細長的結構和全局上下文。

該方法已在TuSimple基準測試中得到驗證，并以最輕巧的模型尺寸和最快的速度顯示了最新的準確性。

此外，我們的方法對具有挑戰性的自收集車道線檢測數據集顯示出出色的適應性，顯示了其在實際應用中的強大部署潛力。

5. YOLOv4官方改進版來了！55.8% AP！速度最高達1774 FPS，Scaled-YOLOv4正式開源！

論文：

https://arxiv.org/2011.08036

GitHub ：https://github.com/WongKinYiu/ScaledYOLOv4

本文是YOLOv4的原班人馬（包含CSPNet一作與YOLOv4一作AB大神）在YOLO系列的繼續擴展，從影響模型擴展的幾個不同因素出發，提出了兩種分別適合于低端GPU和高端GPU的YOLO。

該文提出一種“網路擴展(Network Scaling)”方法，它不僅針對深度、寬度、分辨率進行調整，同時調整網絡結果，作者將這種方法稱之為Scaled-YOLOv4。

由此得到的YOLOv4-Large取得了SOTA結果：在MS-COCO數據集上取得了55.4%AP(73.3% AP50)，推理速度為15fps@Tesla V100；在添加TTA后，該模型達到了55.8%AP(73.2%AP50)。截止目前，在所有公開論文中，YOLOv-Large在COCO數據集上取得最佳指標。而由此得到的YOLOv4-tiny取得了22.0%AP(42.0%AP50)，推理速度為443fps@TRX 2080Ti；經由TensorRT加速以及FP16推理，batchsize=4時其推理速度可達1774fps。

該文的主要貢獻包含以下幾點：

設計了一種強有力的“網絡擴展”方法用于提升小模型的性能，可以同時平衡計算復雜度與內存占用；

設計了一種簡單而有效的策略用于擴展大目標檢測器；

分析了模型擴展因子之間的相關性并基于最優劃分進行模型擴展；

通過實驗證實：FPN structure is inherently a once-for-all structure

基于前述分析設計了兩種高效模型：YOLOv4-tiny與YOLOv4-Large。

6. 人像摳圖已經滿足不了研究者了，這個研究專門給動物摳圖！

在這個圖像和視頻逐漸成為主流媒介的時代，大家早已對「摳圖」習以為常，說不定還看過幾部通過「摳圖」拍攝的電視劇呢。然而，相比于人像摳圖，長相各異、渾身毛茸茸的動物似乎難度更大。

那么，是否有專用于動物的摳圖技術呢？IEEE 會士 Jizhizi Li、陶大程等人就開發了一個專門處理動物摳圖的端到端摳圖技術。

動物的外觀和毛皮特征給現有的方法帶來了挑戰，這些方法通常要求額外的用戶輸入（如 trimap）。

為了解決這些問題，陶大程等人研究了語義和摳圖細節，將任務分解為兩個并行的子任務：高級語義分割和低級細節摳圖。具體而言，該研究提出了新型方法——Glance and Focus Matting network (GFM)，使用共享編碼器和兩個單獨的解碼器以協作的方式學習兩項子任務，完成端到端動物圖像摳圖。

7. 英特爾發布首款用于5G、人工智能、云端與邊緣的結構化ASIC

2020年11月18日，在英特爾FPGA技術大會上，英特爾發布了全新可定制解決方案英特爾 eASIC N5X，幫助加速5G、人工智能、云端與邊緣工作負載的應用性能。該可定制解決方案搭載了英特爾 FPGA兼容的硬件處理器系統，是首個結構化eASIC產品系列。英特爾 eASIC N5X通過FPGA中的嵌入式硬件處理器幫助客戶將定制邏輯與設計遷移到結構化ASIC中，帶來了更低的單位成本，更快的性能和更低的功耗等好處。

英特爾 eASIC N5X器件作為具有創新性的新產品，與FPGA相比最高可降低50%的核心能耗和成本，與ASIC相比則提升了面市速度，降低了非重復性工程成本。用戶可以創建功耗優化、高性能、高度差異化的解決方案。

8. M1808 AI 核心板搭載5G模塊，助力5G布局工業領域

關于5G 的討論，雖然目前更多的是聚焦于智能手機，但事實上，在5G的大應用時代，智能手機只是其中很小的一部分，更多的應用會聚焦于工業互聯網、物聯網、車聯網等，并悄無聲息地滲透到人們的生活當中。

在2020年初，ZLG致遠電子首款人工智能AI核心板M1808正式發布。該款核心板采用高端雙核架構，集成神經網絡處理器NPU，內置專業AI算法，為用戶提供“硬件+軟件+算法”系統化解決方案。M1808還有豐富的外設接口，便于應用擴展。視頻支持MIPI/CIF/BT1120輸入，支持MIPI/RGB顯示輸出；具有PWM/I2C/SPI/UART等一系列傳感器輸入輸出接口；具有USB3.0/USB2.0/PCIE等高速設備接口，因此ZLG M1808 AI核心板同時支持有方的N510M 5G模塊驅動。

M1808AI核心板搭配5G上網模塊Neoway N510M，產品具有出色的射頻性能，支持 5G、4G、3G，頻段覆蓋廣，支持SA與NSA組網方式，支持Sub-6GHz，覆蓋全面。集成各種網絡協議并提供行業標準接口，最大限度滿足eMBB場景下的超高速數據傳輸應用，是電力物聯網、安防監控、智慧能源、工業控制、智慧交通等領域的較好的選擇。

RT-Thread

讓物聯網終端的開發變得簡單、快速，芯片的價值得到最大化發揮。Apache2.0協議，可免費在商業產品中使用，不需要公布源碼，無潛在商業風險。

原文標題：【嵌入式AI周報】 M1808 AI 核心板搭載5G模、嵌入式視覺應用開發詳解！

文章出處：【微信公眾號：RTThread物聯網操作系統】歡迎添加關注！文章轉載請注明出處。