優秀的IC/FPGA開源項目：偽紅外圖像處理

偽紅外圖像處理

副標題：優秀的IC/FPGA開源項目(七)-偽紅外圖像處理

《優秀的IC/FPGA開源項目》是新開的系列，旨在介紹單一項目，會比《優秀的 Verilog/FPGA開源項目》內容介紹更加詳細，包括但不限于綜合、上板測試等。兩者相輔相成，互補互充~

演示偽紅外圖像處理。

介紹

紅外攝像機因為對可見光不敏感，所以在一些特殊行業應用越來越廣泛。

紅外攝像機甚至可以透過太陽鏡看到人眼，并且攝像機圖像不受白天或夜晚的影響，并且幾乎沒有環境光。

因為真正的紅外sensor價格比較昂貴，所以這次選用一種偽紅外sensor，即利用相機自己的光源，即安裝在鏡頭旁邊的 LED，反射紅外光后進項圖像采集，這是一種利用近紅外成像，和我們熟知的紅外攝像頭還是有區別的。

該項目展示了一些紅外圖像處理算法，這些算法可以提高圖像質量。

所選FPGA是 ZYNQ-020 SoC，攝像頭是便宜的 Raspberry PI 攝像頭，帶有兩個紅外 LED，最大分辨率為 1080p@60Hz。

該項目中呈現的體系結構是可擴展的，可以輕松添加更多算法。

理論

我選擇了五種基于 3x3 內核的圖像處理算法：

壞點校正

這是所有這類傳感器的普遍問題，是一種常見的預處理算法。

中值濾波器

常見的噪聲平滑預處理算法。

低通濾波器（平滑濾波器）

噪聲平滑，這個算法使圖像平滑，不會像中值濾波器那樣使圖像模糊。

圖像銳化

通過“邊緣銳化”提高圖像質量，即強調邊緣。

邊緣檢測

應用其中一種算法后，對圖像邊緣處理后，圖像尺寸會減?。蛇x）。

架構

所有算法都基于 3x3 內核，這就是為什么所有算法內核 (PE) 都必須與 FIFO 通信，每個 PE 都有一行的延遲。只有當第二行數據到達時才開始應用算法內核，考慮到圖像處理時候會對邊界有影響，但是我們需要輸出端輸出相同的圖像大小。

架構

選擇模塊是一個可擴展的 MUX 網絡，在上圖情況下，具有五個圖像處理算法，由六個級聯的 MUX-es 組成，一個用于濾波器輸出，一個用于輸入信號。數據流可以配置，在這種情況下，視頻流從輸入到輸出，它通過的圖像處理元素的順序和數量是可配置的。

算法內核的結構如下所示，基本上在這種情況下是一個延遲線，它以視頻流作為輸入并輸出一個 3x3 矩陣，輸出是處理后的幀。

設計

在該架構中，我在 VDMA 和 Gamma Correction 模塊之間插入了我的模塊。

我為每個行緩沖區添加了一個 FIFO。

接口

所有模塊都使用規定好的幀接口 (FI)，它與參考設計中使用的 AXI Stream 接口非常相似（https://reference.digilentinc.com/learn/programmable-logic/tutorials/zybo-z7-pcam-5c-demo/start），可以在兩者之間進行轉換。從 AXI Stream 到 Frame 不需要轉換，反之則必須生成一些額外的信號。AXI Stream 接口只有幀開始和行結束控制信號。

moduleaxi_stream2frame#(
parameterDATA_WIDTH=24
)(
inputclk,//Systeclock
inputrst_n,//Asynchronousresetactivelow
//-------------------------Configurationinterface----------------------------------
input[11:0]cfg_img_w,//Imagewidth
input[11:0]cfg_img_h,//Imagewidth
//-------------------------AXI-Streaminterface-------------------------------------
inputm_axi_stream_tuser,//Startofframe
inputm_axi_stream_tvalid,//Slavehasvaliddata
inputm_axi_stream_tlast,//Endofframe
input[DATA_WIDTH-1:0]m_axi_stream_tdata,//Datatransferred
outputm_axi_stream_tready,//Masterisreadytoreceive
//------------------------------FrameInterface-----------------------------------
outputregs_frm_val,//Masterhasvaliddata
inputs_frm_rdy,//Slaveisreadytoreceive
outputreg[DATA_WIDTH-1:0]s_frm_data,//Datatransferred
outputregs_frm_sof,//StartofFrame
outputregs_frm_eof,//EndofFrame
outputregs_frm_sol,//StartofLine
outputregs_frm_eol//EndofLine
);
reg[11:0]pix_cnt;
reg[11:0]line_cnt;
wireinvalrdy;
wireoutvalrdy;
wireset_eof;
assigninvalrdy=m_axi_stream_tvalid&m_axi_stream_tready;
assignoutvalrdy=s_frm_rdy&s_frm_val;
assignm_axi_stream_tready=s_frm_rdy;
assignset_eof=(line_cnt==(cfg_img_h-1'd1))&m_axi_stream_tlast&invalrdy;

always@(posedgeclkornegedgerst_n)
if(~rst_n)pix_cnt<=?11'd0?????????;?else
if(m_axi_stream_tuser?&?invalrdy?)?pix_cnt?<=?11'd0?????????;?else?//?Reset?at?start?of?frame
if(m_axi_stream_tlast?&?invalrdy?)?pix_cnt?<=?11'd0?????????;?else?//?Reset?at?end?of?frame
if(invalrdy??????????????????????)?pix_cnt?<=?pix_cnt?+?1'd1;??????//?Increment?at?each?pixel
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n???????????????????????)?line_cnt?<=?11'd0??????????;?else
if(m_axi_stream_tuser?&?invalrdy)?line_cnt?<=?11'd0??????????;?else?//?Reset?at?start?of?frame
if(m_axi_stream_tlast?&?invalrdy)?line_cnt?<=?line_cnt?+?1'd1;??????//?Increment?at?each?pixel
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n??????????????????????????????)?s_frm_sol?<=?1'b0;?else
if(outvalrdy?&?s_frm_sol???????????????)?s_frm_sol?<=?1'b0;?else?//?Reset?sol?is?transmitted
if(m_axi_stream_tuser?&?invalrdy???????)?s_frm_sol?<=?1'b1;?else?//?Set?start?of?line?after?last?pixel?of?line?is?transmitted
if(outvalrdy?&?s_frm_eol?&?(~s_frm_eof))?s_frm_sol?<=?1'b1;??????//?Set?at?start?of?frame
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n???????????????)?s_frm_eof?<=?1'b0;?else
if(outvalrdy?&?s_frm_eof)?s_frm_eof?<=?1'b0;?else?//?Reset?after?eof?is?transmitted
if(set_eof??????????????)?s_frm_eof?<=?1'b1;??????//?Set?when?last?pixel?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n????????????????????????????)?s_frm_val?<=?1'b0;?else
if(s_frm_rdy?&?(~m_axi_stream_tvalid))?s_frm_val?<=?1'b0;?else?//?Reset?when?ready?and?no?valid?data?at?the?input
if(invalrdy??????????????????????????)?s_frm_val?<=?1'b1;???//?Set?if?data?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n???????????????????????)?s_frm_eol?<=?1'b0;?else
if(outvalrdy?&?s_frm_eol????????)?s_frm_eol?<=?1'b0;?else?//?Reset?after?eol?is?transmitted
if(m_axi_stream_tlast?&?invalrdy)?s_frm_eol?<=?1'b1;??????//?Set?when?last?pixel?in?a?row?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n????????????????????????)?s_frm_sof?<=?1'b0;?else
if(outvalrdy?&?s_frm_sof?????????)?s_frm_sof?<=?1'b0;?else?//?Reset?after?sof?is???????????????????????????????transmitted
if(m_axi_stream_tuser??&?invalrdy)?s_frm_sof?<=?1'b1;??????//?Set?when?first?pixel?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n??)?s_frm_data?<=?{(DATA_WIDTH){1'b0}};?else
if(invalrdy)?s_frm_data?<=?m_axi_stream_tdata??;
endmodule?//axi_stream2Frame

配置sensor

這個攝像頭是搭配樹莓派使用的，所有驅動都是閉源的，所以沒有配置示例。我在 SCL 和 SDA 引腳上的 I2C 引腳上焊接了兩根電線。將相機連接到 Raspeberry Pi 并將邏輯分析儀連接到焊線，我按照相機接口指南

https://projects.raspberrypi.org/en/projects/getting-started-with-picamera

邏輯分析儀解碼了I2C，抓取的值將在最后附上excel。

該配置已添加到 C++ 代碼中。

攝像頭是 RGB 攝像頭，只有在房間黑暗時才會啟動紅外攝像頭。為了解決這個問題，我在sensor前面粘上了一塊塑料，這是紅外 LED 前面的過濾器。這不是一個很好的解決方案，但可以。

配置模塊

使用 APB 接口進行配置。

voidfilter_cfg()
{
Xil_Out32(APB_BASE_ADDR+CFG_IMG_WIDTH_ADDR,IMG_W);
Xil_Out32(APB_BASE_ADDR+CFG_IMG_HEIGHT_ADDR,IMG_H);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SMOOTH_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_MEDIAN_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_LAPLACE_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_OUTPUT_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_THR_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_COEF_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_TEST_MODE_EN_ADDR,0);
}

上面給出的配置是每個選擇器模塊的選擇?，F在它被配置為輸入流不進行任何處理的情況下轉到輸出。

voidfilter_cfg()
{
Xil_Out32(APB_BASE_ADDR+CFG_IMG_WIDTH_ADDR,IMG_W);
Xil_Out32(APB_BASE_ADDR+CFG_IMG_HEIGHT_ADDR,IMG_H);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SMOOTH_SEL_ADDR,SMOOTH_IN_CODE);
Xil_Out32(APB_BASE_ADDR+CFG_MEDIAN_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_LAPLACE_SEL_ADDR,SMOOTH_IN_CODE);
Xil_Out32(APB_BASE_ADDR+CFG_OUTPUT_SEL_ADDR,LAPLACE_IN_CODE);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_THR_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_COEF_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_TEST_MODE_EN_ADDR,0);
}

Xil_Out32(APB_BASE_ADDR+CFG_SMOOTH_SEL_ADDR,SMOOTH_IN_CODE);

將輸入視頻流放入算法核心。

演示

我展示了帶平滑和不帶平滑的拉普拉斯濾波器，我們可以觀察到圖像有噪聲，應用平滑濾波器后圖像有所變化。

為了比較原始圖像和處理后的兩個圖像，在 Gamma 校正之后添加了第二個 VDMA，，現在校正后的圖像和原始圖像都在 DDR 中，因此可以復制裁剪處理后的圖像并將裁剪區域替換為原始圖像。

工程鏈接

I2C 解碼的 csv

https://github.com/hszilard13/Infa-red-based-Image-processing-Zybo/blob/master/config_1080p_rgb.csv

整體工程

https://github.com/hszilard13/Infared-based-Image-processing-Zybo

審核編輯：湯梓紅