大型網站如何解決高并發帶來的問題

大型網站，比如門戶網站，在面對大量用戶訪問、高并發請求方面帶來的問題

1.大并發：在同一個時間點，有大量的客戶來訪問我們的網站，如果訪問量過大，就可能造成網站癱瘓。

2.大流量：當網站大后，有大量的圖片，視頻, 這樣就會對流量要求高，需要更多更大的帶寬。

3.大存儲：你的數據量會成海量的數據，如果我們的數據放入一張表，是無法應對的?？赡軐祿４婧筒樵兂霈F問題。

基本的解決方案集中在這樣幾個環節：使用高性能的服務器、高性能的數據庫、高效率的編程語言、還有高性能的Web容器，(對架構分層+負載均衡+集群)這幾個解決思路在一定程度上意味著更大的投入。

解決方案：

一、提高硬件能力、增加系統服務器。（當服務器增加到某個程度的時候系統所能提供的并發訪問量幾乎不變，所以不能根本解決問題）

二、使用緩存（本地緩存：本地可以使用JDK自帶的 Map、Guava Cache.分布式緩存：Redis、Memcache.本地緩存不適用于提高系統并發量，一般是用處用在程序中。比如Spring是如何實現單例的呢？大家如果看過源碼的話，應該知道，Spiring把已經初始過的變量放在一個Map中，下次再要使用這個變量的時候，先判斷Map中有沒有，這也就是系統中常見的單例模式的實現。）

分布式緩存利器Redis集群，Redis集群的搭建至少需要三主三從。

1. 所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬。

2. 節點的fail是通過集群中超過半數的節點檢測失效時才生效(所以一個集群中至少要有三個節點)。

3. 客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可。

4. 集群中每一個節點都存放不同的內容，每一個節點都應有備份機。

5. redis-cluster把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value

Redis 集群中內置了16384 個哈希槽，當需要在Redis 集群中放置一個key-value 時，redis先對 key 使用 crc16 算法算出一個結果，然后把結果對16384 求余數，這樣每個key 都會對應一個編號在0-16383 之間的哈希槽，redis會根據節點數量大致均等的將哈希槽映射到不同的節點。

三 、消息隊列 （解耦+削峰+異步）通過異步處理提高系統性能，降低系統耦合性

在不使用消息隊列服務器的時候，用戶的請求數據直接寫入數據庫，在高并發的情況下數據庫壓力劇增，使得響應速度變慢。但是在使用消息隊列之后，用戶的請求數據發送給消息隊列之后立即 返回，再由消息隊列的消費者進程從消息隊列中獲取數據，異步寫入數據庫。由于消息隊列服務器處理速度快于數據庫（消息隊列也比數據庫有更好的伸縮性），因此響應速度得到大幅改善。

通過使用消息中間件對Dubbo服務間的調用進行解耦, 消息中間件可利用高效可靠的消息傳遞機制進行平臺無關的數據交流，并基于數據通信來進行分布式系統的集成。通過提供消息傳遞和消息排隊模型，可以在分布式環境下擴展進程間的通信。通過消息中間件，應用程序或組件之間可以進行可靠的異步通訊，從而降低系統之間的耦合度，提高系統的可擴展性和可用性。

四 、采用分布式開發 （不同的服務部署在不同的機器節點上，并且一個服務也可以部署在多臺機器上，然后利用 Nginx 負載均衡訪問。這樣就解決了單點部署(All In)的缺點，大大提高的系統并發量）

五 、數據庫分庫（讀寫分離）、分表（水平分表、垂直分表）

這種的集群在遇到單表數據量超過2000萬的時候，mysql性能會受損，所以一個集群還不夠，我們需要把數據分到另一個集群，這個稱為“切片”，就是把大量的數據拆分到不同的集群中，每個集群的數據都是不一樣的，通過MyCat這個阿里巴巴的開源中間件，可以把sql分到不同的集群里面去。

PXC集群方案所有節點都是可讀可寫的，Replication從節點不能寫入，因為主從同步是單向的，無法從slave節點向master點同步。PXC同步機制是同步進行的，這也是它能保證數據強一致性的根本原因，Replication同步機制是異步進行的，它如果從節點停止同步，依然可以向主節點插入數據，正確返回，造成數據主從數據的不一致性。

PXC是用犧牲性能保證數據的一致性，Replication在性能上是高于PXC的。所以兩者用途也不一致。PXC是用于重要信息的存儲，例如：訂單、用戶信息等。Replication用于一般信息的存儲，能夠容忍數據丟失，例如：購物車，用戶行為日志等。

六、 采用集群 （多臺機器提供相同的服務）系統架構方案

七、CDN 加速 (將一些靜態資源比如圖片、視頻等等緩存到離用戶最近的網絡節點)

八、瀏覽器緩存 頁面靜態化（使用php自己的ob緩存技術實現， 主流的mvc框架(tp,yii,laravel)模板引擎一般都自帶頁面靜態化 ）

九、使用合適的連接池（數據庫連接池、線程池等等）

十、適當使用多線程進行開發。

十一、使用鏡像

鏡像是大型網站常采用的提高性能和數據安全性的方式，鏡像的技術可以解決不同網絡接入商和地域帶來的用戶訪問速度差異，比如ChinaNet和EduNet之間的差異就促使了很多網站在教育網內搭建鏡像站點，數據進行定時更新或者實時更新。有很多專業的現成的解決架構和產品可選。也有廉價的通過軟件實現的思路，比如Linux上的rsync等工具。

十二、圖片服務器分離

大家知道，對于Web服務器來說，不管是Apache、IIS還是其他容器，圖片是最消耗資源的，于是我們有必要將圖片與頁面進行分離，這是基本上大型網站都會采用的策略，他們都有獨立的、甚至很多臺的圖片服務器。這樣的架構可以降低提供頁面訪問請求的服務器系統壓力，并且可以保證系統不會因為圖片問題而崩潰。在應用服務器和圖片服務器上，可以進行不同的配置優化，比如apache在配置ContentType的時候可以盡量少支持、盡可能少的LoadModule，保證更高的系統消耗和執行效率。