利用Xilinx FPGA 集成的萬兆MAC IP 核以及XAUI IP 核實現FPGA 片間可靠通信設計

隨著云計算技術的發展，采用FPGA 作為協同加速成為其發展的一個趨勢，如何設計與實現FPGA 片間的高速通信是該研究方向的一個熱點。研究了FPGA 萬兆通信的物理層、MAC 層的實現機制，在通信協議可靠傳輸方面實現了MAC 層的流控以及錯誤包檢測功能。仿真以及實際平臺測試表明，該通信協議能夠實現FPGA 片間萬兆的線速通信。

云計算服務目前在互聯網上急速增長，其通過互聯網來提供動態易擴展的資源。隨著云計算的發展，對以太網的數據通信以及高性能計算也提出了更高的要求［1］，而基于大規模的FPGA 協同加速成為云計算服務的一種發展趨勢［2 － 3］。因此如何設計與實現多片FPGA 之間的可靠通信成為云計算研究的一個熱點。文獻［4 －5］對物理層和MAC 層的接口進行了設計，實現了吞吐率達Gbit /s級的通信速率。文獻［6 －7］設計了千兆以太網全雙工模式下的物理通信，包括Pause 幀的收發，還實現了數據包的校驗出錯重傳機制，但限于上層應用，對Pause 幀的實現機制沒有具體闡述。

文獻［8 －9］基于Xilinx 公司FPGA 平臺，在分析如何實現萬兆以太網的CＲC32 糾錯以及接收控制策略、CＲC 編碼/校驗及與千兆以太網兼容等關鍵問題的基礎上，實現了萬兆以太網MAC 層控制但缺乏具體的實現方案。文獻［10］采用自定義的的10 G MAC，設計與實現了以太包的調度策略。

上述研究沒有涉及萬兆MAC 層的流控以及可靠傳輸?；诖吮疚奶岢鲆环N通過利用Xilinx FPGA 集成的萬兆MAC IP 核以及XAUI IP 核實現FPGA 片間可靠通信的方法。

1 互聯系統結構

本文提出的互聯系統結構如圖1 所示，系統由4 片Xilinx 公司的Virtex6 系列的FPGA xc6vlx550t －2ff1759 構成。每2 片FPGA 之間都有4 路高速雙向傳輸通道，每路運行速度均為3． 125 Gbit /s，對外都有1 路10 G/20 G 的QSFP 光通信接口，線路采用8B/10B 編碼，因此FPGA 之間的互聯通信速率為10 Gbit /s?？梢酝ㄟ^該硬件實現多級FPGA 的級聯通信。

2 萬兆互聯的物理層以及MAC 層接口的設計實現

為了支持FPGA 之間的萬兆通信，物理層采用Xilinx公司提供的XAUI IP，MAC 層采用Xilinx 公司的萬兆以太MAC IP 實現傳輸協議的CＲC32 校驗碼的填充與檢測，如圖2 所示。在MAC 層之上增加了MAC 控制模塊，該模塊通過FIFO 接口簡化了應用層的設計，并采用流量控制以及錯誤檢測功能實現數據的10 G 線速可靠傳輸。

XAUI IP 核配合Xilinx 的Ｒocket IO GTX 實現XGMII總線與10 G 物理通道的轉換［11］。GTX 收發器實現高速串行收發器的數據緩沖、通道綁定、接收端時鐘恢復以及發送預加重等功能［12］。XAUI IP 核的XGMII 總線包括32位的雙速率和64 位的單速率接口，由于本文的XGMII 總線在FPGA 內部，因此采用單速率的XGMII 總線接口，系統工作時鐘頻率為156.25 MHz。

2． 1 萬兆MAC 層協議
萬兆MAC 核是一個單速，全雙工10 Gbit /s 的以太網媒體控制器，實現IEEE802． 3ae 萬兆以太網數據的前導碼過濾與增加、數據4 byte CＲC32 校驗碼的填充與驗證。支持的以太數據幀長最小為64 byte，最大為1 518 byte( 可以支持Jumbo frame) 。其內部結構包括發送、接收引擎，流量控制模塊，管理接口和XGMII 接口，通過XGMII 接口能夠很方便地連接到XAUI IP 核［13］。

發送端在傳輸數據之前，MAC 層會先發送7 byte 的同步碼和1 byte 的幀首定界符，并在1 幀傳送結束時填充4 byte 的CＲC32 校驗碼，如果數據長度小于46 byte，則會自動在數據字段填充PAD 字符，即補0。在接收端，MAC層去掉前導碼和幀首定界符，并對幀進行CＲC32 校驗。如果校驗正確則向上層發送收到正確幀( rx_good_frame)信號，否則發送收到錯誤幀( rx_bad_frame) 信號。MAC 層還具有流控的功能，實現收發雙方的通信速率匹配。

2． 2 錯誤檢測及過濾功能
Xilinx 提供的萬兆MAC 控制器對接收到的錯誤數據并不進行處理，僅僅給出數據CＲC32 校驗是否正確。為了提供物理層的可靠傳輸，需要在此基礎上增加接收錯誤幀過濾模塊，如果接收到的是校驗錯誤幀，則需過濾掉該幀。本文采用基于雙端口數據ＲAM 以及幀信息FIFO 的存儲機制實現錯誤包的過濾，如圖3 所示。接收存儲控制模塊若檢測到萬兆MAC IP 接收端口收到的數據rx_valid( rx_data_valid_o! = 8’h0) 有效，則把該數據緩存到雙口數據ＲAM 中去。然后檢測rx_valid 是否小于8 個時鐘節拍，如果小于8 個時鐘節拍，則不用判斷rx_good_frame 以及rx_bad_frame，因為此時接收到的幀肯定錯誤( 小于萬兆以太協議的最小64 byte) ，回到IDLE 狀態。如果rx_valid 持續有效時鐘大于8 個時鐘節拍，則在幀尾檢測是否有rx_good_frame 或者rx_bad_frame; 如果是bad 幀，不作處理回到IDLE 狀態，如果是good 幀，則將該幀存放ＲAM 的起始地址和幀長信息寫入幀信息FIFO，并返回IDLE狀態。如果在幀尾沒有檢測到good 或者bad 信息，則等待; 若等到good 信息則把該幀長以及起始地址寫入幀信息FIFO，并返回IDLE 狀態，若等到bad 信息則直接回到IDLE 狀態，其狀態機如圖4 所示。

讀取控制模塊若檢測到幀信息FIFO 有數據，則表示雙口數據ＲAM 中已經存儲了正確的以太幀，從幀信息FIFO 中獲取接收到幀的地址與長度，并把接收到的數據存儲到用戶控制端口的接收FIFO 中。由于采用存儲校驗機制，因此接收端相對發送端有一定的延遲，最大延遲為最長以太幀的存儲時間。

2． 3 流量控制模塊以及接收FIFO 緩沖區深度設計
為了解決發送FPGA 與接收FPGA 通信速率的不匹配，需要在MAC 層增加流控功能，即當接收FIFO 裕量小于預設的安全值，向發送方發送暫停( Pause) 幀，告知發送方停止發送數據一段時間。發送方接收到暫停幀以后，停止數據的發送，若暫停期間沒有接收到新的Pause 幀，則繼續本次數據通信，若暫停期間接收到新的暫停幀，則從當前時刻增加新的暫停時間。

?

3 系統性能測試

在Xilinx 公司的ISE 開發環境中進行代碼綜合、映射及布局布線，綜合結果測試表明，本設計的工作頻率可以達到156． 25 MHz。通過快寫慢讀操作來驗證流控模塊，如圖7 所示。最終實驗結果表明能正常過濾錯誤以太包，并確保通信速率達到了10 Gbit /s。用復位來模擬掉電操作，最終測試結果表明該系統在正常傳輸過程中若發送端或接收端突然掉電，上電后雙方仍能重新正常通信。

4 結論

本文實現了萬兆MAC 層發送、接收、流控以及錯誤幀過濾的設計。并且使用Xilinx 的Virtex－6 系列FPGA器件進行布局布線后進行板級測試驗證。結果表明，系統可以在156． 25 MHz 時鐘頻率正常工作，接收和發送帶寬均可接近10 Gbit /s。但隨著社會的發展，人們對通信速率的要求越來越高，在不久的將來， 10 Gbit /s 的通信速率將不能滿足人們的需求，所以對高速互聯的研究將永無止境，下一步可以提高互聯通信速率，進一步研究20 Gbit /s、40 Gbit /s 或更高速率的互聯結構。