數據中心與網(wǎng)絡(luò )架構

通常來(lái)說(shuō)，如果一個(gè)數據中心服務(wù)器規模超過(guò)10萬(wàn)臺，就可以稱(chēng)large-scale datacenter，也就是常說(shuō)的大規模數據中心。大規模數據中心對于網(wǎng)絡(luò )的要求有很多，但是突出的就在于穩定和簡(jiǎn)單。

這兩點(diǎn)要求本身也有一定的關(guān)聯(lián)性。比如，大規模數據中心因為網(wǎng)絡(luò )設備數量多，所以從統計學(xué)的角度來(lái)說(shuō)，出故障的頻率也更高。這里說(shuō)的故障，不僅包括設備本身出現的硬件軟件問(wèn)題，還包括因為運維過(guò)程中對設備誤操作引起的故障。因此，一個(gè)簡(jiǎn)單的網(wǎng)絡(luò )設計，例如采用統一的硬件連接方式，使用有限的軟件功能，能減少故障概率，從而一定程度提升整個(gè)網(wǎng)絡(luò )架構的穩定性。但是，或許不只對于IT行業(yè)，對于任何領(lǐng)域，用簡(jiǎn)單的方法去解決一個(gè)復雜的問(wèn)題，本身就不簡(jiǎn)單。因此，這一次分析一下如何用CLOS架構，來(lái)“簡(jiǎn)單的”管理大規模數據中心的網(wǎng)絡(luò )。

CLOS架構

CLOS架構被廣泛應用在現代的數據中心，因為它提供了數據中心的水平擴展能力和大規模數據中心所需要的穩定和簡(jiǎn)單。下圖就是一個(gè)基本的CLOS單元，Spine和Leaf交換機共同組成數據中心網(wǎng)絡(luò )，其中Leaf交換機作為T(mén)OR交換機，連接服務(wù)器;Spine交換機，為L(cháng)eaf交換機提供網(wǎng)絡(luò )連接。

水平擴展能力

想要擴展一個(gè)CLOS網(wǎng)絡(luò )架構，通常有兩種方法，就是增加設備的端口數;第二就是增加更多的層級。在現有的spine-leaf基礎上，再增加一層super-spine交換機，就可以構成一個(gè)5-stages CLOS架構。增加了一層super-spine交換機，數據中心規模也水平擴大了一倍。

穩定簡(jiǎn)單

從眼來(lái)看，CLOS架構是簡(jiǎn)單的。根據CLOS理論，所有的交換機，不論是Super Spine，Spine和是Leaf，都應該采用同質(zhì)的交換機。雖然實(shí)際應用和文中圖里面，都不一定嚴格按照這個(gè)要求來(lái)，但是至少是照著(zhù)這個(gè)樣式去實(shí)現。所以從硬件構成來(lái)看，較為簡(jiǎn)單。其次，CLOS架構采用的是一個(gè)純L3網(wǎng)絡(luò )的架構，也就是說(shuō)所有的交換機都是三層交換機，交換機之間都通過(guò)IP網(wǎng)絡(luò )連接的。所以，從網(wǎng)絡(luò )連接來(lái)看，也較為簡(jiǎn)單。畢竟，傳統三層網(wǎng)絡(luò )架構，要涉及到L2連接，L3連接，VLAN配置等等。

穩定包含很多，除了相對簡(jiǎn)單的設計，還有就是減少故障范圍。0故障是不可能的，這輩子都不可能0故障。我們能做的是限制故障的范圍，而CLOS架構下，每個(gè)Leaf交換機下都是一個(gè)獨立的L2 Domain，這樣可以將所有二層網(wǎng)絡(luò )的問(wèn)題，例如BUM風(fēng)暴，限制在一個(gè)Leaf交換機范圍內。

所以網(wǎng)絡(luò )架構的IP地址分布如下：

看起來(lái)似乎很美好，但是相比較傳統的三層網(wǎng)絡(luò )，CLOS架構也有自己的問(wèn)題，其中包括但不限于以下幾點(diǎn)：那如何為CLOS架構選取一個(gè)合適的路由協(xié)議？常規的選項是使用且僅使用EBGP。BGP一直以IBGP的形式來(lái)構建數據中心內部網(wǎng)絡(luò )，而且是構建在IGP，例如OSPF之上的。而EBGP一般用來(lái)連接不同的數據中心。但是在CLOS架構中，EBGP，卻是合適的一個(gè)協(xié)議，因為它能極大簡(jiǎn)化實(shí)現。先因為現在路由條目數增多，這樣的量級只有BGP能穩定維護。

其次，因為現在每個(gè)Leaf Switch，都管理一個(gè)獨立的子網(wǎng)。而數據中心內網(wǎng)絡(luò )連通的前提是，每一個(gè)Leaf Switch的子網(wǎng)，都需要傳給其他所有的Leaf Switch。這樣，相當于每個(gè)Leaf Switch都是一個(gè)自治域（AS），現在要實(shí)現的就是實(shí)現所有的自治域的連通。這個(gè)問(wèn)題，就是EBGP在互聯(lián)網(wǎng)上正在解決的問(wèn)題。

因此在CLOS架構下，采用了EBGP作為路由協(xié)議，具體細節有以下幾點(diǎn)：

EBGP連接都是單跳。這樣就不用依賴(lài)IGP構建nexthop網(wǎng)絡(luò )，EBGP的nexthop都在鏈路的另一端。EBGP與IBGP的一個(gè)大不同在于，EBGP會(huì )轉發(fā)路由，因此借助Spine和Super Spine上面EBGP程序的轉發(fā)，一個(gè)Leaf的子網(wǎng)信息，可以發(fā)布給所有其他Leaf交換機，從而實(shí)現全數據中心內網(wǎng)絡(luò )聯(lián)通。

但是這里有一個(gè)問(wèn)題，在大規模數據中心里面，按照10萬(wàn)條服務(wù)器，一個(gè)機架40臺服務(wù)器算的話(huà)，總共會(huì )有2500個(gè)Leaf交換機，這樣，光是Leaf就把 ASN消耗完了。為了解決這個(gè)問(wèn)題，可以使用4字節的ASN（RFC6793）;也可以在一組Spine下面，復用ASN，：所以，僅通過(guò)EBGP，就是實(shí)現了CLOS架構中網(wǎng)絡(luò )連接需要的全部?jì)热?。相比較傳統三層網(wǎng)絡(luò )架構，CLOS架構這里又以簡(jiǎn)單勝出。

審核編輯 黃昊宇