FPGA相機邊緣檢測開源分享

描述

該項目將展示如何實施完整的端到端圖像處理管道，以實施能夠以 30fps 的速度運行的邊緣檢測視覺算法，以檢測道路車道。

一、簡介

要實現實時車道檢測，我們的想法是拍攝圖像并將其傳遞給邊緣檢測器 IP。最著名的一種是 Sobel 邊緣檢測器。然而，Canny 邊緣檢測器具有可編程閾值的優勢。即時修改閾值可以適應不同的光照條件。

https://en.wikipedia.org/wiki/Canny_edge_detector

視覺處理流水線在邏輯上可以分為三個部分。圖像源、圖像處理管道和圖像接收器。

?

?

從高層次的角度來看，需要一個圖像源（可以是相機傳感器或圖像模式生成器）和一個接收器（可以是顯示器）。

2.硬件塊

首先，必須將所有原型硬件部件放在一起。在這種情況下，系統硬件僅由五個組件組成。

a) MiniZed ZYNQ 開發板

b) OV7670 相機

c) Arduino 屏蔽穿孔板

d) 10pin 0.1inch 母頭

e) VGA PMOD

OV7670 相機安裝在一個 10 針 0.1 英寸母接頭上，該接頭本身焊接到原型板上。VGA PMOD 連接到 MiniZed 雙 PMOD 接頭連接器。最后一步是將 VGA 電纜連接到顯示器。

一旦硬件系統組裝在一起，下一步就是使用 Vivado 在 FPGA (PL) 上設計硬件。

3.FPGA硬件

1. 圖片來源

有許多相機接口，但最簡單的是使用并行總線的 CMOS 傳感器，例如古老的 OV7670 相機傳感器。然而，要使用這樣的傳感器，必須實現一個相機捕獲模塊，該模塊將從傳感器傳輸的字節流轉換為適當的協議，在我們的例子中是 AXIS 總線。

此外，必須通過在 PL 中將配置模塊實現為從 BRAM 讀取配置的 I2C 模塊或在 PS 中將配置模塊實現為通用相機驅動程序來配置相機。PS 配置顯然更靈活，所以我選擇了這個選項。

?

?

Vivado 設計中的圖像源是與 OV7690 CMOS 相機接口的定制 IP。相機使用并行八位接口。此外，還有兩個同步信號HSYNC和VSYNC，其選通模式分別表示行和幀。相機使用輸出像素時鐘 PCLK。像素速率與 PCLK 同步。OV7690 相機還需要一個 24 MHz (XCLK) 相機時鐘作為輸入。

OV7690 每個像素輸出 2 個字節。根據配置代碼，相機可以配置為使用不同的色彩空間。IP 配置為使用 RGB565 色彩空間。相機的控制是通過 AXI 接口完成的。攝像機 IP 在內存中分配了一個位置。要啟動相機，必須設置位以啟用相機輸出數據。數據本身使用 AXIS (AXI Stream) 協議打包。

2. 跨時鐘域

來自相機的 AXIS 輸出被發送到異步 FIFO。這是需要跨越兩個不同時鐘域時使用的一種方法。

?

FIFO 的從端連接到 PCLK，而 FIFO 的主端連接到工作頻率為 50MHz 的 AXI 主時鐘域。主時鐘必須始終高于從時鐘，否則 FIFO 將溢出導致丟失像素。

?

在像素流穿過時鐘域后，它通過子集轉換器發送。這是一個 AXIS IP 塊，可將 RGB565 數據重新映射為 24 位數據包。圖像處理 IP 使用 24 位，因為每種顏色都分配了 8 位。

下一個元素是 AXIS 開關。該 IP 作為 AXIS 流的簡單多路復用器運行。它可以通過 AXI lite 接口或利用 AXIS 頻閃信號自動配置。在此特定應用中，啟用了 AXIS 開關的 AXI Lite 接口。然而，這需要實施 SDK 驅動程序來配置開關多路復用器。

3.圖像過濾

Canny 邊緣檢測器 IP 是使用 Vivado HLS 構建的。它是用 C 語言編寫的。HLS 的主要優點是允許快速部署 IP。缺點是生成的邏輯是模糊的，通常不如手工制作的 Verilog 代碼高效，盡管它可以接近它。在任何情況下，生成 Canny IP 都涉及使用 Vivado HLS 2013 和 2018.3 版本的 xfopencv。這是一組 C++ 庫，復制了用于 FPGA 邏輯的眾所周知的 OpenCV 庫。

Xilinx 最近發布了 Vivado 2019.1 以及 HLS 2019.1。這需要使用帶有非免費修訂框架的 SDSOC。

已實施的修訂代碼的主要更改是修改功能以支持 AXIS 協議的輸入和輸出。此外，AXI Lite 總線用于將所有可編程變量捆綁在一個集合中，并通過連接到 GP0 ZYNQ 總線的 AXI 互連將它們暴露給 PS 內存映射。

?

?

最后，為了在兩個不同的 IP 之間切換，使用了 AXI 開關。

?

?

VDMA 配置為三重緩沖模式。VDMA 需要在運行前通過 AXI lite 接口進行配置，該接口將其連接到主 AXI 互連。

下面的代碼顯示了針對 VGA 分辨率的 VDMA 配置。

	Xil_DCacheFlush();    
	Xil_ICacheInvalidate();    
	/* Start of VDMA Configuration */    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x30, 0x8B);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xAC, 0x10000000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xB0, 0x100F0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xB4, 0x101E0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA8, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA4, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA0, HEIGHT);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x00, 0x8B);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x5C, 0x10000000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x60, 0x100F0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x64, 0x101E0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x58, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x54, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x50, HEIGHT);     

。。

VTC 本身配置為 VGA 分辨率。

?

?

這基本上是一個 R2RDAC，它采用數字數據總線以及行和幀同步信號 HSYNCS 和 VSYNC，并將數據發送到監視器。

正如您在下面看到的，應用程序在正常 VGA 模式、灰色模式（看起來更像藍色）和邊緣檢測模式之間不斷切換。

?

概括

該項目展示了如何在 ZYNQ FPGA SoC 上實現完整的端到端視覺處理流水線。硬件能夠以 30 fps 的速度進行實時邊緣檢測。

其他想法包括：

• 添加更多濾波器類型，如中值、高斯、索貝爾、普維特等。
• 為 MiniZed 構建一個 PYNQ 發行版以從 Linux 訪問 IP，以構建一個無線 WiFi 攝像頭。
• 升級到更高清晰度的相機傳感器。

?

?