從技術層面剖析FPGA在諸如NFV等虛擬網絡架構中的作用和意義

不久前，英特爾聯手HPE（中文名：慧與）以及中國電信北京研究院一起發布了技術白皮書：《為下一代電信基礎設施尋找有效的虛擬網絡體系架構》，英文全名為：Finding an efficient virtual network function architecture for next-generation telecommunications infrastructure（見下圖），在系統層面詳細闡述了三家公司在推進網絡功能虛擬化（NFV）領域所作的最新的工作和取得的成果。此外，今年在上海舉辦的世界移動大會（Mobile World Congress)上，這個項目的原型驗證也在HPE的展臺進行了公開演示。同時，項目的下一階段也將順利開展。

作為這個項目的主要參與者之一，看到這些階段性的成果不斷涌現時，本人自然感到成就感十足，同時也在參與項目的過程中學到了很多知識，結交了很多來自英特爾其他業務部門、以及HPE和中國電信的同事、同行和朋友們。今天的這篇文章，本人將對這部白皮書進行技術層面的解讀，將著重討論FPGA在諸如NFV等虛擬網絡架構中的作用和意義。

附上一張五月份去中國電信北京研究院的照片。

NFV和虛擬化技術是近幾年很火爆的話題，深入探討NFV的意義大概需要幾十篇博客，市面上近幾年也慢慢出現了不少書籍單獨介紹NFV的相關內容?；蛟S之后我會單獨寫幾篇文章討論廣義上什么是NFV、NFV出現的背景和存在的意義。但本文以及白皮書中針對的是NFV在電信網絡中的應用。

電信網絡是NFV的一個主要應用場景，它出現的最直接的動因之一就是為了支持指數級的帶寬增長。據預測，五年后全球的IP流量將較今日增長超過3倍。在萬物互聯的今天，尤其是5G、物聯網、自動駕駛等技術已經成為各大公司爭奪的焦點之時，各種設備和服務都需要電信網絡及其數據中心進行處理和支持。然而，傳統的電信基礎架構和數據中心很難進行有效的擴展，其主要原因有以下兩點：

1. 硬件層面：傳統電信網絡基礎架構使用的是各類專用硬件設備，如各類接入設備、各層交換機、路由器、防火墻、QoS等。這樣做的問題有很多，例如，不同設備之間的兼容性差、維護升級困難、容易造成供應商壟斷從而大幅提高成本、若需要加入新功能則要開發新硬件設備等等。

2. 軟件層面：不同設備都需要各自對應的軟件進行配置和控制，從而難以在管理員層面進行大范圍統一部署和配置，且需要學習來自不同供應商和規格的設備的軟件配置方法。若某些網絡功能通過軟件實現，傳統的實現方法中對服務器的有效利用率很低，且無法進行服務的動態遷移，等等。

因此，虛擬化技術 - 更具體而言，網絡功能虛擬化NFV技術，逐漸成為各大運營商解決上述問題的有效途徑。歐洲電信標準協會（ETSI）關于NFV比較有名的示意圖如下所示。

總體而言，和傳統方法相比，NFV利用通用的服務器（大多是基于英特爾x86處理器）、通用的存儲設備、以及通用的高速以太網交換機，實現傳統電信網絡基礎架構的各種網絡功能。具體而言，就是將網絡功能在通用服務器中用軟件實現，數據使用通用的存儲設備存儲，網絡流量通過通用的網卡和高速交換機進行轉發。這樣理論上能很好的解決上述硬件層面的問題：使用通用設備而非專用設備，提高了數據中心的可擴展能力，不會被某個供應商制約，反而會通過開放競爭減少硬件采購和部署的成本。

另外，借助虛擬化技術，將網絡功能在不同虛擬機中實現，這樣理論上能解決軟件層面的問題：即某個特定應用不會占用服務器的全部資源，反之，一個服務器可以同時運行多個虛擬機或網絡服務。同時，虛擬機在數據中心的擴展和遷移也更加方便，不會造成服務下線或中斷。

NFV和另外一項技術：軟件定義網絡（Software Defined Network - SDN）經常一起出現。它們的一個主要的核心思想就是將網絡的控制面和轉發面進行分離。這樣，所有的數據轉發面設備都可以同時被控制、配置、管理，從而避免了管理員需要分別配置每個網絡設備的低效情形。

引用一下《中國電信CTNet2025網絡架構白皮書》的話：

“從更好的適應互聯網應用的角度出發，未來網絡架構必須要求網絡能力接口的開放和標準化，通過軟件定義網絡技術,能夠實現面向業務提供網絡資源和能力的調度和定制化，同時為進一步加速網絡能力的平臺化，還需要提供網絡可編程的能力，真正實現網絡業務的深度開放?！?/span>

請注意，在之前的表述中我使用了很多“理論上”怎樣怎樣，這是由于上面關于NFV的優點很多都是人們美好的想象和愿景。在實際的工程實踐中，設計實現有效的NFV架構面臨著很多問題。例如，不同的應用場景中，網絡負載的種類五花八門，而很多應用都需要進行線速的處理，如QoS和流量整形（之前的博文介紹過）、VPN、防火墻、網絡地址轉換、加密解密、實時監控、深度包檢測（DPI）等等。即使有DPDK等專用的軟件開發庫，目前單純使用軟件實現這些網絡服務的線速處理，在技術上存在很大困難，且用軟件實現的網絡功能在性能上很難和專有硬件相比。這樣一來，人們會反過來質疑使用NFV的出發點和動機。同時，鑒于NFV仍處于方案探討和摸索階段，很多相關的協議和標準還沒有確定，這也在一定程度上使很多企業猶豫是否要投入大量資源去進行前期的探究工作。

因此，如何有效的實現這些虛擬化的網絡功能（Virtualized Network Function - VNF）,是我們前階段的主要工作和這篇白皮書主要探討的問題。

在這里，實現虛擬網絡功能的“有效性”主要體現在以下幾個方面：

1.VNF必須非常靈活、便于使用；

2.容易大規模擴展，不局限于某種應用場景或網絡；

3.性能方面應該不低于，甚至高于專用硬件。

介于此，白皮書中給出了幾個有潛力的發展方向以供參考：

1.控制面和轉發面的分離和獨立擴展。

2.設計并優化、標準化擁有可編程能力的轉發面。

在電信網絡的應用場景中，NFV的一個典型應用就是虛擬化的寬帶遠程接入服務vBRAS，即virtual broadband remote access server，又被稱為vBNG，即virtual broadband network gateway。在vBRAS中可能包含很多虛擬網絡功能，例如遠程用戶撥入驗證服務（Remote Authentication Dial-In User Service, RADIUS）、動態主機設置協議（Dynamic Host Configuration Protocol，DHCP），以及之前提過的DPI、防火墻、QoS等。

一個重要的發現是，這些網絡應用從計算資源的需求上可以分成兩類。一類不需要大量的計算資源，如RADIUS和DHCP。同時這類應用很多屬于控制平面。因此這類應用很適合直接放在控制平面，并且有很好的縱向和橫向的擴展性，也很適合用通用的計算和存儲設備進行實現。

另一類應用往往需要很大的計算能力，如流量管理、路由轉發、數據包處理等，且通常需要在線速下（如40Gbps、100Gbps或更高）進行處理。這類應用往往屬于數據平面。對于數據平面而言，它還需要支持很多種計算量很大的網絡功能，這樣才能區別于使用專有硬件，符合NFV技術的初衷。綜上而言，數據平面應該具備以下兩點主要能力“

1.能線速進行高吞吐量的復雜數據包處理；

2.同時支持多種網絡功能，具有很強的可編程能力。

然而，如果直接使用軟件方法實現，這兩點功能很難同時滿足。因此我們采用了FPGA作為智能硬件加速平臺，很好的同時解決了處理速度和可編程性兩個問題。首先，FPGA相比純軟件方法，在數據包處理上擁有著絕對優勢的硬件并行性能，因此被用作硬件加速器使用。其次，相比于傳統的專有硬件設備，FPGA擁有靈活的可編程能力，可以支持各種應用的實現。

圖1：vBRAS的演化

上圖為我們展示了傳統BRAS逐步演進到vBRAS的三個主要過程：

1.第一階段，傳統的BRAS使用專用設備，且控制面和轉發面緊耦合。圖中可以看到控制路徑和數據路徑是相互重合的。

2.第二階段，采用了虛擬化技術，且采用了服務器取代了專用BRAS設備，使用軟件和虛擬機實現多個vBRAS。但同時也可以看到，此時控制面和轉發面還是相互耦合實現。由于兩者性能差別很大，這種實現方式很容易造成數據通路的性能瓶頸，或因數據通路流量過大而占用了控制面的帶寬。反之，控制面的流量會影響數據面的線速包處理的能力。

3.第三階段，采用虛擬化技術，且控制面和轉發面相互分離。從圖中可以看到，控制面和轉發面由兩個服務器分開實現，控制流量和轉發流量相互不影響。此外，控制流量能在數據/轉發服務器和控制服務器之間雙向流動，實現控制面對轉發面的控制。

這第三個階段就是目前英特爾、HPE和中國電信北研院聯合研發的最新成果。接下來就詳細講解其技術細節。

設計實現上述第三階段中高性能的vBRAS方案，需要分別實現vBRAS-c (control) 和vBRAS-d (data)，即vBRAS控制設備和vBRAS數據設備。這兩類設備都應該使用標準化的通用服務器實現。此外，對于vBRAS數據設備而言，需要針對計算量龐大的應用進行專門的優化和加速，使其能進行高吞吐量、低延時的數據包處理。

下圖展示了本應用實例中，vBRAS-c和vBRAS-d的設計方法。

圖2：vBRAS的轉控分離架構

對于vBRAS-c節點，其重要的設計思想就是輕量化和虛擬化，使其方便在數據中心或云端進行擴展和移植，同時可以分布式實現，以控制多個數據平面節點。因此在本例中，vBRAS-c由一個獨立的HPE DL380服務器實現。DL380服務器中包含兩個CPU插槽（socket），每個插槽中均有一塊14核的Xeon處理器。服務器的總內存為128GB。網絡接口方面，vBRAS-c可以使用標準的網卡進行網絡通信，比如一塊或多塊英特爾X710 10GbE網卡即可滿足控制平面的流量要求。具體的vBRAS控制應用則在虛擬機中實現，多個虛擬機由SDN控制器統一控制。

對于vBRAS-d節點，總體也通過獨立的DL380實現。針對上文提到的優化加速的部分，本實例中使用了基于Arria10 FPGA的智能網卡加速網絡功能，如線速處理QoS和多級流量整形。在一個DL380中，可以插入多塊FPGA智能網卡，實現并行數據處理，成倍提高數據吞吐量。同時，vBRAS-d節點通過OpenFlow與SDN控制器交互，且一臺vBRAS-c設備可以控制多個vBRAS-d設備。

使用FPGA智能網卡進行網絡加速的好處有以下幾點：

1.解放了寶貴的CPU內核，將原本在CPU中實現的數據處理卸載到FPGA上進行加速實現。這樣CPU可以用來做其他的工作，在虛擬化的基礎上進一步實現了資源的有效利用。

2.FPGA擁有低功耗、靈活可編程的特點。在白皮書中提到，在選用的Arria10 GT1150 器件上實現了硬件QoS和多級流量整形后，只占用了FPGA的40%的邏輯資源。換言之，還有60%的資源可以被用來進行其他的網絡功能處理和加速。同時，可以隨時對FPGA進行編程，因此多種網絡功能的加速都可以用一套硬件設備完成，不需要更換加速卡或其他硬件設備。即使是用戶自己定義的功能，也可以實現，不需要專有設備完成。這樣很好的平衡了高性能和高通用性兩者間的矛盾。

3.FPGA能進行高速并行的數據包處理，且本身就廣泛應用于網絡通信領域，解決方案豐富且成熟。

下圖概括介紹了本實例中在FPGA中實現的數據包轉發的數據通路設計。

圖3：FPGA數據包處理的數據通路

由圖中可見，本設計包含多個模塊，如Parser、Look-Up、Buffer Manager、Packet Processor，以及內存控制器和DMA等。數據包進入FPGA后，依次通過各個模塊進行特征提取、分類、查找，如果需要就通過PCIe和DMA與CPU進行交互。同時，Buffer Manager會對不同來源的數據包進行流量控制、QoS和流量整形等操作。

此外，這款FPGA智能網卡支持多種包處理模式，即可以將數據包完全在FPGA內部處理后轉發，不經過CPU；也可以將數據包通過PCIe傳送到CPU，使用DPDK進行包處理，再通過FPGA轉發；或者二者結合，一部分功能在CPU中實現，另外一部分卸載到FPGA上完成?？梢婌`活度很高。

下圖展示了進行性能測試時的硬件搭建情況。

圖4：數據平面的服務器和FPGA架構

圖中可見，一個DL380服務器上插了3塊相互獨立的FPGA智能網卡，每塊網卡支持40Gbps數據吞吐量，因此一個vBRAS-d服務器支持的總吞吐量為120Gbps。每塊網卡通過PCIex16接口與CPU相連，在CPU中運行DPDK L2/L3 FWD應用，將數據轉發回FPGA，然后在FPGA中進行QoS和數據整形。在測試中，流量的產生和接收都通過Spirent測試儀實現。

對于QoS，每個智能網卡可以支持4000用戶，故單服務器支持12000個用戶。每個用戶支持2個優先級，且分配給每個用戶的帶寬可以編程控制。例如，每個用戶分配8.5Mbps帶寬，則開啟流量整形后單服務器總流量應為12000x8.5=102Gbps，如下圖所示。

數據平面的性能測試結果

我們看到，當數據包為定長512字節時，關閉流量整形功能后，高優先級流量和低優先級流量都沒有損失，各為60Gbps（對應每個用戶的實際流量為5Mbps高優先級+5Mbps低優先級），因此總流量為120Gbps。開啟流量整形功能后，高優先級流量沒有損失，仍為60Gbps。對于低優先級，由于每個用戶分配8.5Mbps帶寬且高優先級已經占用了其中的5Mbps，因此只剩余3.5Mbps帶寬供低優先級流量通過?？梢姷蛢炏燃壛髁吭獾较蘖?，總流量變成3.5Mx12000=42Gbps，使得總流量變成102Gbps。這在總體上證明了單個vBRAS-d節點可以支持超過100Gbps的流量處理。

此外還進行了一些功耗測試能性能對比，我在此挑選了一張結果圖如下所示。

圖5：不同帶寬時總能耗性能比的對比

這張圖表示了實現不同帶寬時，總功耗性能比的一系列比較。功耗性能比的定義為，實現1Tbps時所需要的總功耗（千瓦）。圖中將不含FPGA智能網卡的vBRAS實現50Gbps時的功耗性能比作為基準值（100%）。由圖中可以看到，vBRAS+FPGA智能網卡的方案總能降低超過40%的總功耗，最多可達到60%。這進一步印證了上文中闡述過的使用FPGA進行網絡功能加速的好處所在。

其他性能測試和對比不再贅述，詳細內容在白皮書中可以看到?？傮w而言，相比于傳統的vBRAS服務器+標準網卡的方案，使用vBRAS+FPGA智能網卡的解決方案可以減少約50%的功耗，以及帶來超過3倍的性能提升。

這篇白皮書為我們展示了業界領先的企業當前在NFV和SDN領域所做的最新工作，特別是使用FPGA作為硬件加速平臺，對網絡功能進行卸載和加速。這樣能大幅提高硬件資源的利用率，同時能帶來性能的提升和能耗的下降，降低了部署和運行成本。同時結合業界其他公司的動態，各大互聯網公司、云服務提供商、電信網絡提供商都開始嘗試在他們的數據中心中部署FPGA，其中微軟的Azure云服務更是已經大規模采用了Intel FPGA進行硬件加速。因此，如何有效的設計CPU+FPGA這樣的異構計算微結構、如何實現狹義和廣義上的計算、控制和存儲資源的有效管理和分配、上述設計如何在數據中心進行高效部署，以及如何設計商業模型以明確FPGA在整個體系中的位置和作用，將會是未來一段時間內的研究熱點。

石侃博士，于倫敦帝國理工大學電子系取得博士學位，后加入英特爾公司可編程解決方案事業部任高級FPGA研發工程師至今。石侃在半導體行業有多年的學術研究和工業界開發經驗，尤其深耕于FPGA、高性能與可重構計算、計算機網絡和虛擬化等領域。他曾在多個學術界頂級會議和期刊如DAC、FCCM、TVLSI等發表過論文。在工業界，他主要從事使用FPGA進行數據中心網絡加速器、網絡功能虛擬化、高速有線網絡通信等相關技術的研發和創新工作。