基于FPGA的視頻圖像灰度信號直方圖均衡算法實現設計

直方圖均衡作為一種基礎的圖像處理方法在很多領域得到應用，但大多是通過DSP或者CPU編程實現，其優點是靈活性比較高，調試方便，最大的缺點是很難做到實時或者準實時處理，這在某些領域是不可接受的。而使用FPGA實現可以很好地解決實時處理的難題，而且目前的FPGA資源容量已經很豐富，片內的SRAM/PLL/邏輯資源已經足以應對一般圖像處理算法的需要，同時隨著價格的不斷下降，客觀上使得FPGA成為圖像處理算法實現不錯的選擇。

本文主要介紹在FPGA上實現直方圖均衡算法的總體結構和最重要的兩個子模塊的實現細節，以及最終的實現結果。

1 直方圖均衡的理論基礎

原始圖像灰度值r歸一化在0~1之間，p（r）為原始圖像灰度分布的概率密度函數。直方圖均衡化處理實際上就是尋找一個灰度變換函數T，使得變化后的灰度值s=T（r）， 其中，s歸一化為0~1，即建立r與s之間的映射關系，要求處理后圖像灰度分布的概率密度函數p（s）=1，期望所有灰度級出現概率相同。

對于數字圖像離散情況，其直方圖均衡化處理的計算步驟如下：　?。?）統計原始圖像的直方圖

式中，rk是歸一化的輸入圖像灰度；nk是輸入圖像中歸一化灰度等于rk的像素個數；n是輸入圖像的像素總數。

（2）計算直方圖累積分布曲線　?。?）用累積分布函數作變換函數進行圖像灰度變換

根據計算得到的累積分布函數，建立輸入圖像與輸出圖像灰度之間的對應關系，最后要將變換后的灰度恢復成原先范圍。

2 FPGA實現的總體結構　　

? ? 從上面對直方圖均衡算法的描述可知，在進行直方圖均衡以前，首先必須對圖像灰度進行統計，然后再計算輸出。而要統計一幅圖像的全局灰度信息，就不得不把整幅圖像先寫入緩存。雖然FPGA內部的SRAM資源豐富，但是仍然無法滿足整幅圖像存儲的需要。因此，需要以SDRAM作為圖像緩存，存儲前后兩場視頻圖像，然后再計算輸出。SDRAM的容量、速度都能滿足直方圖均衡算法的要求，唯一的缺點是必須有相應的SDRAM控制器控制SDRAM的讀寫和刷新操作。下面簡要介紹總體實現的方案，其實現框圖如圖1所示。

從圖1中可以看出，在輸入端，模擬復合視頻數據經過視頻圖像解碼進入FPGA，在FPGA里先對數據進行簡單處理，產生內部使用的行同步信號/場同步信號/數據有效信號和16bit YUV4:2：2格式的視頻信號。然后，灰度信息進入灰度直方圖統計模塊對當前灰度信息出現的頻率加以統計，將統計信息以乒乓的方式存入SRAM，與此同時所有視頻數據通過“寫”控制模塊和SDRAM控制器存入SDRAM；在輸出端，在“讀”控制單元的控制下通過SDRAM控制模塊從SDRAM讀出上一場的數據進入灰度變換模塊，根據存儲的上一場的灰度統計信息，對數據進行灰度變換。這樣就完成了完整的灰度直方圖均衡變換。

如果需要在顯示設備（如PC顯示器）上顯示，還必須要有時序產生/圖像數據格式變換等模塊。另外，由于需要對某些內部參數進行調整（如SDRAM的Latency等），必須有一個控制接口和外部相連，在這里使用了一個I2C協議接口。

在所有模塊中最主要的實現單元主要有兩大部分，一個是直方圖統計和灰度變換模塊，另一個是SDRAM控制器和讀寫控制單元。下面將詳細介紹這兩部分。

3 直方圖統計的實現結構

直方圖統計是通過FPGA內部兩塊雙端口SRAM的乒乓操作實現的。其中每塊SRAM的地址反映了灰度值的大小，而SRAM每個單元的數據寬度必須相應于每場圖像的像素數量。例如，對于我國PAL制的電視圖像來說，根據ITU-R BT.601/656數字視頻標準規定每一場數字化后的視頻圖像，它的有效數據是每行720個有效點，每場288個有效行，每場總共207360個有效像素點，平均每個點16bit的數據量，其中有8bit灰度數據。所以在選取SRAM的大小時，應該選擇容量為256（2的8次方）、數據寬度為18位（207 360大于2的17次方）的SRAM。但是為了擴展的方便，實際使用中使用了容量為256、數據寬度為22位的

SRAM，這樣可以對數據量更大的圖像加以處理。 每當一個新的圖像數據進入統計模塊，就將SRAM內相應地址的統計數據讀出，累加后再存入該地址。由于前后數據可能是一樣的，會造成對同一個SRAM地址同時讀寫而引起錯誤。這就需要一個模塊對整個過程加以控制?；镜乃悸肥牵簩η昂髷祿M行比較，若前后數據相等就將計數器累加，直到發現數據不等才將統計數據寫入SRAM，這樣就從根本上避免了讀寫同一個地址的可能性。直方圖統計狀態機實現框圖如圖2所示。

由于使用了乒乓模式（一塊SRAM用于當前場的統計，另一塊用于前一場灰度均衡的計算），狀態機在上電復位后首先需要將用于統計的SRAM清空，這可以利用視頻的場消隱時間加以處理（相應的狀態機狀態是CLEAR SRAM狀態），然后等待有效數據進入（對應于STBY狀態），一旦有效灰度數據進入，狀態機就進入統計狀態0（CALCULATION HISTOGRAM STEP0）。此時，首先讀出SRAM相應于該灰度值的數據，同時將數據延遲并觀察前后數據是否相同，如相同則繼續停留在該狀態，將計數器加1；否則進入統計狀態1（CALCULATION HISTOGRAM STEP1）。進入狀態1后，計算上一個灰度值的統計數據（將從SRAM中讀出的值加上計數器的值再加1）存入SRAM，同時還要讀出SRAM里相應于當前灰度值的數據。此后的工作與狀態0相似。以此類推，狀態不斷在狀態0和狀態1之間切換，直到有效數據結束后進入統計狀態2（CALCULATION HISTOGRAM STEP2），狀態2 的作用是將這一行的最后一個灰度數據的統計信息寫入SRAM。隨后回到STBY狀態，等待下一行數據。當所有有效行都統計完后，進入狀態機的統計狀態3（CALCULATION HISTOGRAM STEP3），重新將灰度統計數據累計后存入SRAM。

4 SDRAM 控制器的實現結構

輸入輸出視頻圖像的速度（13.5MHz）遠低于SDRAM的最高速度（143MHz），假如以單個數據對SDRAM讀寫（Single Write/Single Read），根本無法發揮SDRAM高速的優勢，所以必須使用SDRAM的突發模式（BURST MODE），即一次讀出或者寫入多個數據。以美光公司（MICRON）

MT48LC1M16A1S SDRAM為例，它支持1、2、4、8個字或者整頁（256個字）的讀寫。由于屬于兩個時鐘域，所以必須對寫入或者讀出SDRAM的數據緩存。在這里，讀寫模塊分別使用兩個深度為64、寬度為16bit的雙口SRAM以乒乓的方式加以實現。一次突發模式讀寫的數據量都是64個字，因此選擇深度為64的SRAM是一種折衷的辦法，數據過少無法發揮突發模式的優勢，數據過大則需要更多的SRAM作為緩存，使開銷過高。實踐證明一次讀寫64個數據比較合適。

由于SDRAM結構的特殊性，它的讀寫刷新操作需要滿足一定的時序要求，所以需要專門的控制器來維護對SDRAM的操作。圖3是Hynix Electronics公司HY5DV641622AT 的SDRAM的狀態機框圖，該框圖包含SDRAM上電時序、模式寄存器的設置、讀寫控制、預充電和定時刷新等多個環節?？刂破鞯木唧w實現可以參考Xillinx或者Altera公司相關文檔和各家DRAM廠商的資料。

需要說明的是對SDRAM的地址劃分問題。由于采用了乒乓模式，SDRAM也自然被劃分為兩個部分，一部分用于當前場的存儲，另一部分用于前一場的讀取，也就是說在存儲/統計當前場的同時，將前一場讀出并且計算灰度后輸出。至于地址的具體劃分則要考慮到SDRAM容量大小和輸入視頻大小。以MT48LC1M16A1S SDRAM為例，該SDRAM 的結構是512K×16×2，每塊SDRAM被分為兩個BANK，每個BANK有2 048行，每行256個16bit的字，總計1M字。而PAL制電視以ITU656數字化后的單場數據大約是202K字，NTSC大約是170K字，480P（YUV4:2：2格式）每幀大約是337K字，所以可以考慮將SDRAM以BANK劃分，每個BANK存儲一場/一幀。

另外一個問題牽涉到邏輯地址到物理地址的映射問題，即由于PAL制每行有720個點，而SDRAM每行只有256個存儲單元，所以一行圖像需要占據稍小于三行的SDRAM空間，三行中的最后一行的最后一點空間不加利用。SDRAM讀寫控制單元的地址產生模塊需要注意這一點。SDRAM的具體劃分圖如圖4所示。

5 實驗結果與說明

實驗結果如圖5、圖6所示。從實驗結果可以看出，直方圖均衡后的圖像對比度得到了明顯的提高。但是，直方圖均衡算法的缺點同樣明顯，噪聲對直方圖均衡的影響非常大。從對原圖的處理結果就可以看到，原圖的背景噪聲并不明顯，但是經過直方圖均衡后變得非常突出。這就需要對算法進行改進，例如對局部圖像進行統計，然后和全局圖像統計數據進行比較，最后決定是否對該區域進行均衡。但這超出了本文的論述范圍。