嵌入式視覺系統的構建模塊

傳統嵌入式視覺系統采用FPGA/處理器組合來實現，也有越來越多地使用將高性能處理器與FPGA相結合的片上系統來實現。在本文中我們將會介紹嵌入式視覺系統的高級元素；如何簡便快捷地使用軟件 API 和 IP 庫構建嵌入式視覺系統，如何把算法開發的增值部分添加到圖像處理鏈中。

從監控攝像頭等簡單監控系統到更高級的應用，例如當今最新款汽車配備的高級駕駛員輔助系統 (ADAS)和先進生產設施及工廠里使用的機器視覺，嵌入式視覺系統已在一系列應用中得到使用。不論何種應用，嵌入式視覺系統都具備一些共同之處，總體來講它們可以分為下列三大類：

設備接口 — 提供到所選成像設備的接口。根據選擇的設備類型，提供所需的時鐘、偏置和配置數據。這樣還可以從設備接收圖像數據，根據需要進行解碼和格式化，以供圖像處理鏈做進一步處理。

圖像處理鏈 — 通過設備接口接收圖像數據并進行彩色濾波器陣列內插和色域轉換(即從彩色轉換到灰度)等操作。這部分仍處于我們對接收到的圖像使用大量算法的圖像處理鏈內。這些可以是降噪或邊緣增強等簡單算法，也可以是對象識別或光流等復雜得多的算法。常見情況是在圖像處理鏈的上游部分調用算法實現方案。當然圖像處理鏈上游的實現復雜性取決于要實現的應用。而輸出格式化部分(即將處理后的圖像數據轉換為正確格式，以輸出到顯示器或是通過通信接口輸出)被稱為下游部分。

系統監視與控制 – 這是一項獨立于設備接口和圖像處理鏈的類別，它從兩個方面提供系統監視和控制。第一個位于設備內部，它提供：
圖像處理鏈的配置
圖像分析功能
在算法執行過程中根據要求更新圖像處理鏈

第二個是更廣泛的嵌入式視覺系統的控制與管理，它提供：

電源管理和圖像設備上電排序
執行自檢及其他系統管理功能
網絡支持通信或點對點通信
在首次成像操作前通過 I2C 或 SPI 配置圖像設備

部分應用允許系統監視功能訪問幀存儲器并在其中的幀上執行算法。在這種情況下系統監視能夠構成圖像處理鏈的一部分。

這三大類別因為每個階段內在的難點不同，需要不同的實現方法。設備接口和圖像處理鏈都要求有能力處理帶寬高數據，從而在內部實現圖像處理鏈，在外部從系統傳輸圖像數據。而系統監視與控制要求能夠處理和響應通過通信接口接收到的命令并為外部通信提供支持。如果系統監視也要構成圖像處理鏈的組成部分，就需要一個高性能處理器。

照此，傳統嵌入式視覺系統采用FPGA/處理器組合來實現，也有越來越多地使用將高性能處理器與FPGA相結合的片上系統來實現。在我們演示上述幾個方面如何結合在一起之前，我們先來了解一下這三個類別中每一個的不同難點。

設備接口

傳感器接口由應用所選擇的設備決定，大多數嵌入式視覺應用使用 CMOS 圖像傳感器 (CIS)。一般情況下這些傳感器使用 CMOS 并行輸出總線，用控制信號提示行和幀的有效順序，或者使用速率更高的串行通信，實現較簡單的系統接口，但會導致 FPGA 實現方案略顯復雜。與并行總線相比，這些串行數據流能通過更少數量的通道傳輸圖像，因為它們以快得多的數據速率運行，因此相比并行接口而言，能讓成像器支持更高的幀速率。為實現同步，常見的做法是讓包含圖像及其它數據字的數據通道與包含用于定義數據通道上的內容的代碼字的同步通道相結合。與數據通道和同步通道結合的還有一個時鐘通道，因為該接口采用源同步。這些高速串行通道一般實現為 LVDS 或微擺幅差分信號 (Reduced Swing LVDS)，以降低系統噪聲和功耗。

不論輸出圖像格式如何，通常是 CIS 設備在獲取任何圖像之前需要由嵌入式視覺系統加以配置。這是由 CIS 設備的多功能性造成的。這種多功能性在提供強大的片上處理功能的同時，也需要在輸出圖像前使用正確的設置進行配置。這些接口對帶寬的要求沒有圖像傳輸要求的那么高，因此常常使用 I2C 或 SPI 接口標準。

因為所需的圖像數據帶寬較高，經常把該接口實現在 FPGA 中，這樣更便于與圖像處理鏈集成。該 CIS 設備的配置接口一般使用 I2C 或 SPI，它們既可以用 FPGA 實現，也可以用支持這種接口的系統監視與控制處理器實現。

圖像處理鏈

圖像處理鏈由上下游元件和接口組成，像素數據通過設備接口輸出。但是接收到的像素的格式可能不能用于正確顯示圖像。我們可能需要進行圖像校正，尤其是在使用彩色成像器的情況下。 為維持所需數據率下的吞吐量，圖像處理鏈常實現在 FPGA 中，以發揮其并行優勢。這樣可以生成圖像處理流水線，使得處理鏈的每一步都將并行實現，從而獲得更高的幀速率。但是對部分應用我們必須考慮時延，尤其是對高級駕駛員輔助系統 (ADAS) 這樣的系統而言。為有效建立圖像處理鏈，我們需要使用通用互聯協議作為圖像處理內核的基礎，從而方便處理 IP 的互聯。這樣可以帶來兩重好處：一是可以重復使用的庫；二是由于每個 IP 核旨在根據定義的標準接收和發送數據，從而方便流水線的建立。這里有多種常用的協議可供選用，其中最常見的是 AXI，因其具有同時支持內存映射接口和流接口的靈活性。

圖像處理鏈內的典型處理階段包括：