登錄
登錄后你可以
- 下載海量資料
- 學(xué)習在線(xiàn)課程
- 觀(guān)看技術(shù)視頻
- 寫(xiě)文章/發(fā)帖/加入社區
登錄
會(huì )員中心
創(chuàng )作中心
完善資料讓更多小伙伴認識你，還能領(lǐng)取20積分哦，立即完善>
標簽 > 嵌入式視覺(jué)
“嵌入式視覺(jué)”是指一種通過(guò)視覺(jué)方法去理解周邊環(huán)境的機器。嵌入式視覺(jué)涉及到兩種技術(shù)：嵌入式系統和計算機視覺(jué)（有時(shí)也稱(chēng)為機器視覺(jué)）。本文詳細介紹了嵌入式視覺(jué)系統,機器視覺(jué)嵌入式,嵌入式視覺(jué)方案等內容。
“嵌入式視覺(jué)”是指一種通過(guò)視覺(jué)方法去理解周邊環(huán)境的機器。嵌入式視覺(jué)涉及到兩種技術(shù)：嵌入式系統和計算機視覺(jué)（有時(shí)也稱(chēng)為機器視覺(jué)）。嵌入式系統可以是任何基于微處理器的系統，它們完成特定的工作，且隨處可見(jiàn)，例如：汽車(chē)、廚房、消費電子、醫療器械等等；計算機視覺(jué)則使用數字處理和智能算法去理解圖像或者視頻，它是一個(gè)已經(jīng)被研究很久，但仍然方興未艾的領(lǐng)域?，F在，由于高計算能力、低價(jià)格且低功耗的處理器的出現，越來(lái)越多的計算機視覺(jué)應用可以在嵌入式系統上實(shí)現；另一方面，由于需求之廣泛，嵌入式視覺(jué)的設備市場(chǎng)和微處理器市場(chǎng)均正獲得高速發(fā)展。
“嵌入式視覺(jué)”是指一種通過(guò)視覺(jué)方法去理解周邊環(huán)境的機器。嵌入式視覺(jué)涉及到兩種技術(shù)：嵌入式系統和計算機視覺(jué)（有時(shí)也稱(chēng)為機器視覺(jué)）。嵌入式系統可以是任何基于微處理器的系統，它們完成特定的工作，且隨處可見(jiàn)，例如：汽車(chē)、廚房、消費電子、醫療器械等等；計算機視覺(jué)則使用數字處理和智能算法去理解圖像或者視頻，它是一個(gè)已經(jīng)被研究很久，但仍然方興未艾的領(lǐng)域?，F在，由于高計算能力、低價(jià)格且低功耗的處理器的出現，越來(lái)越多的計算機視覺(jué)應用可以在嵌入式系統上實(shí)現；另一方面，由于需求之廣泛，嵌入式視覺(jué)的設備市場(chǎng)和微處理器市場(chǎng)均正獲得高速發(fā)展。
嵌入式視覺(jué)的應用
很明顯，嵌入式視覺(jué)技術(shù)能夠為多種應用帶來(lái) 巨大的價(jià)值。根據IHS的最新研究預測，汽車(chē)應用將是2013年嵌入式視覺(jué)市場(chǎng)發(fā)展的主要推動(dòng)力。2013年車(chē)載用途的機器視覺(jué)處理器利潤預計會(huì )達到1.51億美元，而2011年和2012年的利潤分別是1.26億和1.37億美元。研究報告另外指出，在未來(lái)幾年，該市場(chǎng)將持續每年6-9%的增長(cháng)
速度。到2016年，利潤將達到1.87億美元，相當于6年CAGR達到8.2%。HIS的嵌入式處理器主任分析師，Tom Hackenberg表示，“嵌入式視覺(jué)可以從很對方面改善汽車(chē)的安全性和使用方便性，在某些應用中起到關(guān)鍵性的作用，比如車(chē)道偏離告警系統，碰撞警告系統，自動(dòng)泊車(chē)系統，疲勞偵測系統，盲區檢測系統”，“車(chē)載領(lǐng)域的整個(gè)嵌入式視覺(jué)市場(chǎng)，裝備量非常大，增長(cháng)速度也非?？?rdquo;。 嵌入式視覺(jué)技術(shù)在汽車(chē)領(lǐng)域的成功案例包括Mobileye基于視覺(jué)的輔助駕駛系統，iOnRoad輔助駕駛應用和Roadefend徑衛視覺(jué)駕駛員疲勞預警系統等，這些系統可以有效降低交通事故發(fā)生的幾率。
嵌入式視覺(jué)使用的其余2大市場(chǎng)是傳統的工業(yè)視覺(jué)應用市場(chǎng)，和安防應用市場(chǎng)。例如以色列IOImage智能視頻安防系統，以其高性能、易用性文明于業(yè)界。另一個(gè)案例是MG國際公司的泳池安全系統，旨在通過(guò)智能視頻監控，防止游泳溺水。在工業(yè)視覺(jué)應用領(lǐng)域，ABB，FUNUC（日本），三菱，川崎等公司，通過(guò)嵌入式視覺(jué)系統在工業(yè)機器人上的應用，處于領(lǐng)先地位。
另外，嵌入式視覺(jué)在軍事領(lǐng)域獲得了廣泛應用，包括視覺(jué)引導的導彈、無(wú)人偵察機、軍事機器人等。在高級的電子游戲機系統中，例如Xbox中，我們也能找到嵌入式視覺(jué)技術(shù)應用的蹤跡。
正如同高速無(wú)線(xiàn)互聯(lián)是從高成本新奇技術(shù)起步一樣，目前為止，嵌入式視覺(jué) 一般只用于復雜昂貴的系統中，例如，毛發(fā)移植的手術(shù)機器人，制造業(yè)的質(zhì)量控制檢查系統等。
如何使用純FPGA來(lái)實(shí)現嵌入式視覺(jué)方案
嵌入式視覺(jué)是當今科技最激動(dòng)人心的領(lǐng)域之一。
關(guān)于使用Zynq SoC的嵌入式視覺(jué)應用，熱心群眾們說(shuō)的太多，我就不贅述了。今天我們換一個(gè)新的視角，來(lái)看看如何使用純FPGA來(lái)實(shí)現嵌入式視覺(jué)方案。
這篇文章，將帶你了解如何使用Digilent Nexys Video Artix-7 FPGA多媒體音視頻開(kāi)發(fā)板來(lái)實(shí)現一個(gè)簡(jiǎn)單的HDMI輸入/輸出視頻處理系統。特別是如果你是一名新手，通過(guò)本文，你會(huì )對基于FPGA的視頻處理有更多基本的理解。
坦白說(shuō)，Digilent Nexys Video開(kāi)發(fā)板可能是市面上性?xún)r(jià)比最高的音視頻處理FPGA口袋實(shí)驗室了。作為一款專(zhuān)用于音視頻處理教學(xué)以及視頻和視覺(jué)應用原型開(kāi)發(fā)的評估板，此板搭載了Xilinx Artix-7系列中資源最大的器件Aritx-7 XC7A200T FPGA。
今天我們就來(lái)介紹一下如何使用Nexys Video來(lái)實(shí)現一個(gè)簡(jiǎn)單的HDMI輸入/輸出視頻處理系統。先來(lái)看下此板所集成的支持視頻接收、處理和生成/輸出的下列I/O和外設接口：
HDMI輸入
HDMI輸出
顯示輸出端口
以太網(wǎng)
UART
USB
512MB DDRSDRAM
線(xiàn)路輸入（Line In）/麥克輸入/耳機輸出/線(xiàn)路輸出（Line Out）
FMC
使用VHDL與RTL方法，要創(chuàng )建一個(gè)簡(jiǎn)單的圖像處理流水線(xiàn)，我們需要實(shí)現如下架構：
監控處理器（本例中采用Xilinx Artix-7 FPGA實(shí)現的MicroBlaze軟核RISC處理器）用于監控與用戶(hù)接口間的通信并根據應用的要求配置圖像處理流水線(xiàn)。在本例這個(gè)簡(jiǎn)單的架構中，HDMI輸入口接收的數據從原始的并行格式的視頻數據、Hsync和VSync轉換為AXI Streaming（AXIS）格式。我們想要將數據轉換成AXIS格式是因為Vivado提供多個(gè)使用這種數據格式的圖像處理IP。如果我們使用Vivado HLS來(lái)創(chuàng )建我們自己的圖像處理模塊，那么能夠支持AXIS接口也很重要。
MicroBlaze處理器需要支持如下外圍設備：
AXI UART – 支持系統的通信和控制
AXI Timer – 使MicroBlaze可以實(shí)時(shí)運行事件
MicroBlaze調試模塊 – 支持MicroBlaze的調試
MicroBlaze本地存儲 – 連接到DLMB和ILMB（數據&指令本地存儲總線(xiàn)）
我們將使用存儲接口生成器來(lái)創(chuàng )建與板上SDRAM對接的DDR接口。這個(gè)接口和SDRAM創(chuàng )建了一個(gè)公共的存儲框架，可以訪(fǎng)問(wèn)圖像處理管道以及使用AXI interconnect訪(fǎng)問(wèn)監控處理器。
創(chuàng )建一個(gè)簡(jiǎn)單的圖像處理流水線(xiàn)需要使用如下IP：
DVI2RGB – Digilent提供的HDMI輸入IP
RGB2DVI – Digitlent提供的HDMI輸出IP
Video In to AXI4-Stream – 將并行視頻輸入轉換為AXI Streaming協(xié)議（Vivado IP）
AXI4-Stream to Video Out – 將AXI-Stream轉換為并行視頻輸出（Vivado IP）
Video Timing Controller Input – 檢測輸入視頻流參數（Vivado IP）
Video Timing Controller Output – 生成輸出視頻流時(shí)序參數（Vivado IP）
Video Direct Memory Access – 支持圖像寫(xiě)入和從DDR SDRAM讀出
視頻處理鏈的核心是VDMA，我們借助它來(lái)將圖像移動(dòng)到DDR內存中。
上圖展示了IP如何將流式數據轉換為讀和寫(xiě)管道中內存映射的數據。兩個(gè)VDMA通道都提供了在流式數據和內存映射數據之間轉換的能力。寫(xiě)通道支持流到內存映射的轉換而讀通道提供內存映射到流的轉換。
當把所有這些集中到Vivado中創(chuàng )建初始的基本系統，我們得到了如下架構，這是Nexys Video HDMI示例提供的。
嵌入式視覺(jué)解決方案
嵌入式視覺(jué)技術(shù)為許多激動(dòng)人心的新興應用進(jìn)入市場(chǎng)提供了光明的前景。這些新興應用包括用于M2M應用中的工業(yè)顯示系統、工業(yè)4.0解決方案、高級駕駛輔助系統（ADAS）和車(chē)載信息娛樂(lè )系統、數碼單反相機、無(wú)人機、機器人、虛擬現實(shí)（VR）系統和醫療設備。
萊迪思的產(chǎn)品系列能夠實(shí)現靈活的解決方案以滿(mǎn)足當今嵌入式視覺(jué)設計工程師的需求，如不斷變化的接口、低功耗圖像信號處理和硬件加速。
萊迪思攜手合作伙伴助您實(shí)現適用于網(wǎng)絡(luò )邊緣嵌入式視覺(jué)處理應用的靈活、低功耗的解決方案。
嵌入式視覺(jué)系統
在當今所有行業(yè)中攝像頭應用的數量都在不斷增長(cháng)，更加智能的應用得以實(shí)現。像目標識別、深度感知、碰撞規避和決策制定的概念正在深入我們的家庭生活、城市環(huán)境、工廠(chǎng)和汽車(chē)所使用的設備中。邊緣計算需要各種設備協(xié)同工作以實(shí)現更高的效率。消費電子、工業(yè)和汽車(chē)行業(yè)正著(zhù)眼于FPGA，助力構建靈活、智能學(xué)習的環(huán)境，將理想變?yōu)楝F實(shí)。
將一級的輸出傳遞給另一級且不構成循環(huán)的神經(jīng)網(wǎng)絡(luò )被稱(chēng)為前饋神經(jīng)網(wǎng)絡(luò ) (FNN)，而那些有反饋、內含定向循環(huán)的神經(jīng)網(wǎng)絡(luò )則被稱(chēng)為遞歸神經(jīng)網(wǎng)絡(luò ) (RNN)。
2023-10-31 標簽：神經(jīng)網(wǎng)絡(luò )可編程邏輯機器學(xué)習 225 0
嵌入式視覺(jué)技術(shù)如何賦予機器觀(guān)察能力
“看”的能力一直被認為是生物體獨有的特質(zhì)，它讓我們能夠識別形狀、顏色、紋理和深度，進(jìn)而與外部世界互動(dòng)。 而現在，這個(gè)能力正被賦予機器，這就是機器視覺(jué)更專(zhuān)...
嵌入式視覺(jué)技術(shù)應用領(lǐng)域與挑戰 嵌入式視覺(jué)技術(shù)讓智能無(wú)處不在
車(chē)輛正奔馳在蜿蜒的盤(pán)山公路上，周?chē)利惖娘L(fēng)景使你沉浸其中。你突然注意到前方急拐彎處有一群徒步旅行者，而汽車(chē)的嵌入式視覺(jué)系統也同時(shí)檢測到了他們，并迅速減速...
2023-06-08 標簽：安富利機器學(xué)習嵌入式視覺(jué) 1237 0
2022 年 5 月，科學(xué)家們發(fā)布了一張圖像，盡管它的視覺(jué)簡(jiǎn)單，但讓所有看過(guò)它的人都感到驚訝：這是第一張黑洞的“真實(shí)”圖像。
在一個(gè)小型嵌入式解決方案上為流式傳輸 4x 應用制作原型的步驟
? ? 嵌入式視覺(jué)組件越來(lái)越受歡迎，并被整合到大量的應用中。這些應用的共同之處，就在于它們都需要在狹小的空間內容納更多的功能。當這些系統在邊緣做出決策時(shí)...
2022-04-29 標簽：ITS嵌入式視覺(jué)嵌入式視覺(jué)系統 9754 0
擴展了對汽車(chē)，工業(yè)和醫療嵌入式視覺(jué)應用的支持。萊迪思在mVision堆棧中添加了新的開(kāi)發(fā)板，以支持用于工業(yè)，醫療和汽車(chē)應用的流行圖像傳感器。支持的圖像傳...
2021-03-03 標簽：fpga神經(jīng)網(wǎng)絡(luò )圖像傳感器 2432 0
如何定義網(wǎng)絡(luò )架構或結構加速視覺(jué)系統的優(yōu)化
當人們討論深度神經(jīng)網(wǎng)絡(luò )(DNN)、深度學(xué)習和嵌入式視覺(jué)時(shí)，通常會(huì )先討論如何定義網(wǎng)絡(luò )架構或結構。不久之前，我們還只能支持線(xiàn)性網(wǎng)絡(luò )，在輸入和輸出級之間的層數...
2021-02-03 標簽：神經(jīng)網(wǎng)絡(luò )圖像傳感器嵌入式視覺(jué) 3064 0
什么是SLAM技術(shù)？SLAM技術(shù)的工作原理
SLAM技術(shù)是一種計算機程序，用于構建座席周?chē)h(huán)境的虛擬地圖并更新其實(shí)時(shí)坐標。
賽靈思擴展生態(tài)系統重塑嵌入式視覺(jué)、工業(yè)物聯(lián)網(wǎng)系統設計的未來(lái)
多類(lèi)嵌入式視覺(jué)和工業(yè)物聯(lián)網(wǎng)系統要求傳感器融合，或將來(lái)自多個(gè)不同類(lèi)型傳感器的數據處理和融合為行動(dòng)信息。對于嵌入式視頻系統，多個(gè)視頻流可以整合生成更可用或更...
2019-07-30 標簽：C++嵌入式視覺(jué)工業(yè)物聯(lián)網(wǎng) 1945 0
關(guān)于高精度嵌入式視覺(jué)的網(wǎng)上研討會(huì )
研討會(huì )將重點(diǎn)介紹賽靈思極其合作伙伴是如何為用戶(hù)提供一個(gè)包含豐富的 IP、開(kāi)發(fā)工具以及參考設計的生態(tài)環(huán)境，以幫助客戶(hù)能夠快速地，輕松地把握住機器視覺(jué)應用的...
2019-08-01 標簽：機器視覺(jué)嵌入式視覺(jué)智能視覺(jué) 1787 0
適合智慧城市和樓宇應用的ADIS1700x嵌入式視覺(jué)檢測模塊立即下載
類(lèi)別：電子資料 2023-11-28 標簽：嵌入式視覺(jué)智慧城市
類(lèi)別：嵌入式開(kāi)發(fā) 2021-11-04 標簽：嵌入式系統嵌入式設計機器視覺(jué)
如何使用NIEVS和PXI實(shí)現機器視覺(jué)輔助駕駛系統的開(kāi)發(fā)立即下載
類(lèi)別：電子資料 2020-11-27 標簽：圖像處理機器視覺(jué)嵌入式視覺(jué)
類(lèi)別：嵌入式開(kāi)發(fā) 2017-10-19 標簽：adsp嵌入式視覺(jué)嵌入式智能系統
CEVA-CV，實(shí)現嵌入式視覺(jué)應用立即下載
類(lèi)別：嵌入式開(kāi)發(fā) 2017-10-17 標簽：嵌入式視覺(jué)
實(shí)例分析傳感器融合在嵌入式視覺(jué)的應用立即下載
類(lèi)別：嵌入式開(kāi)發(fā) 2017-10-13 標簽：傳感器嵌入式視覺(jué)
關(guān)于嵌入式視覺(jué)中的安全性與保密性問(wèn)題分析立即下載
類(lèi)別：嵌入式開(kāi)發(fā) 2017-10-13 標簽：嵌入式視覺(jué)
香煙小包裝嵌入式視覺(jué)在線(xiàn)檢測系統立即下載
類(lèi)別：嵌入式技術(shù)論文 2010-02-23 標簽：在線(xiàn)檢測嵌入式視覺(jué)
嵌入式技術(shù)領(lǐng)域的視覺(jué)、安全與AI應用
本次2024年度德國版嵌入式世界展的大獎評選共收到全球百余家企業(yè)的申請，經(jīng)由評審團嚴格篩選，最終選出三項候選提名，并于會(huì )場(chǎng)進(jìn)行了隆重的頒獎儀式。其中，嵌...
2024-04-29 標簽：嵌入式系統人工智能嵌入式視覺(jué) 121 0
和芯星通攜嵌入式領(lǐng)域的新興技術(shù)和產(chǎn)品亮相Embedded World 2024
當地時(shí)間4月9日-11日，為期3天的Embedded World 2024在德國紐倫堡會(huì )展中心盛大召開(kāi)，向全世界展示嵌入式領(lǐng)域的新興技術(shù)和產(chǎn)品，以及汽車(chē)...
2024-04-11 標簽：汽車(chē)電子物聯(lián)網(wǎng)人工智能 246 0
用持續創(chuàng )新打造空前繁榮的FPGA生態(tài)系統
過(guò)去10年間，FPGA器件實(shí)現了出貨量50億片的新紀錄。而未來(lái)10年，這一數字將超過(guò)100億片，機器人、工業(yè)網(wǎng)絡(luò )互聯(lián)、汽車(chē)、通信、數據中心等都將成為FP...
AMD推出Spartan UltraScale+系列，專(zhuān)為成本敏感型邊緣應用打造
全新 FPGA 能為嵌入式視覺(jué)、醫療、工業(yè)互聯(lián)、機器人與視頻應用提供高數量 I/O、功率效率以及卓越的安全功能
Cadence擴充Tensilica Vision產(chǎn)品線(xiàn)以應對汽車(chē)傳感器融合計算需求
單個(gè) DSP 用于嵌入式視覺(jué)、雷達、激光雷達和 AI 處理，在性能提升的前提下，帶來(lái)顯著(zhù)的面積優(yōu)化、功耗和成本的降低
萊迪思推出新型傳感器橋接參考設計 攜手英偉達推動(dòng)邊緣神經(jīng)元網(wǎng)絡(luò )創(chuàng )新
這種新穎的參考設計專(zhuān)為開(kāi)發(fā)人員設計，適用于醫療保健、機器人以及嵌入式視覺(jué)等領(lǐng)域的網(wǎng)絡(luò )邊緣AI應用。其重要特點(diǎn)在于可以方便地進(jìn)行各類(lèi)傳感器和接口的整合，具...
2023-12-12 標簽：機器人嵌入式視覺(jué)邊緣AI 353 0
銀牛3D NU4100視覺(jué)AI處理器采用芯原創(chuàng )新的ISP IP
2023年9月21日，中國上?！驹煞萁袢招?D視覺(jué)與人工智能（AI）解決方案提供商銀牛微電子 (簡(jiǎn)稱(chēng)“銀?！? 在其量產(chǎn)的NU4100視覺(jué)AI處...
2023-09-25 標簽：機器人HDR計算機視覺(jué) 303 0
北京，2022年8月31日——全球領(lǐng)先的影音和汽車(chē)市場(chǎng)高速連接解決方案供應商Valens（紐交所股票代碼：VLN）和嵌入式視覺(jué)系統設計和制造領(lǐng)域的領(lǐng)軍者...
2022-08-31 標簽：攝像頭嵌入式視覺(jué)Valens 1282 0
如何提供超低功耗 ML 以實(shí)現更有效的嵌入式視覺(jué)
機器學(xué)習算法開(kāi)辟了一個(gè)可能性領(lǐng)域，可以將視覺(jué)嵌入到產(chǎn)品中，使我們的家庭、工作空間以及介于兩者之間的地方更安全、更高效。為了在更多用例中真正發(fā)揮智能視覺(jué)的...
端點(diǎn)人工智能是人工智能的新前沿，它將人工智能的能力下沉到邊緣設備。它帶來(lái)一種革新的數據管理方式：在本地搜集相關(guān)數據并在本地做出決策。它將以往僅僅用于計算...
2022-07-10 標簽：人工智能瑞薩電子嵌入式視覺(jué) 516 0
換一批
編輯推薦廠(chǎng)商產(chǎn)品技術(shù)軟件/工具OS/語(yǔ)言教程專(zhuān)題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無(wú)刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進(jìn)電機 | SPWM | 充電樁 | IPM | 機器視覺(jué) | 無(wú)人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
| Arduino | BeagleBone | 樹(shù)莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關(guān)注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀(guān)察
工商網(wǎng)監