數據庫分區、分庫和分表

今天先說說數據庫的數據分區，分庫以及分表的內容吧!

數據庫分區、分庫和分表

數據庫分區、分庫和分表是針對大型數據庫系統的優化策略。它們的主要目的是提高數據庫的性能和可靠性，以滿足不斷增長的數據存儲需求。

數據庫分區

將一個大型數據庫分成多個邏輯部分，每個部分被稱為一個分區。每個分區可以獨立進行管理和維護，使得數據庫系統的可擴展性和可用性得到了提高。

水平分區和垂直分區是數據庫分區的兩種主要方式,其主要存在如下的區別：

• 水平分區是將一個大表按照某個條件（如按照時間、地理位置等）分成多個小表，每個小表中包含相同的列，但是行數不同。在選擇水平分區的分區鍵時，需要考慮數據的訪問模式和數據的增長模式。例如按照時間分區可以提高歷史數據的查詢效率，按照地理位置分區可以提高地理數據的查詢效率。水平分區的優點是可以提高數據的查詢效率和并發處理能力，缺點是可能會導致數據的冗余和數據的一致性問題。
• 垂直分區是將一個大表按照列的不同將其分成多個小表，每個小表中包含相同的行，但是列數不同。選擇垂直分區的分區鍵時，可將經常一起查詢的列分到同一個分區中可以提高查詢效率，將經常被更新的列分到單獨的分區中也可以提高更新效率。垂直分區的優點是可以減少數據的冗余，提高數據的查詢效率，也可能會導致數據的一致性問題。

水平分區栗子：

CREATE TABLE mytable (
  id SERIAL PRIMARY KEY,
  data TEXT,
  created_at TIMESTAMP WITH TIME ZONE
)
PARTITION BY RANGE (created_at);

CREATE TABLE mytable_2021_01 PARTITION OF mytable
  FOR VALUES FROM ('2021-01-01') TO ('2021-02-01');

CREATE TABLE mytable_2021_02 PARTITION OF mytable
  FOR VALUES FROM ('2021-02-01') TO ('2021-03-01');

CREATE TABLE mytable_2021_03 PARTITION OF mytable
  FOR VALUES FROM ('2021-03-01') TO ('2021-04-01');

-- 創建更多的分區表，每個表代表一個月份

垂直分區栗子：

CREATE TABLE users (
  id SERIAL PRIMARY KEY,
  name VARCHAR(50) NOT NULL,
  gender VARCHAR(10) NOT NULL,
  age INTEGER NOT NULL,
  address VARCHAR(200) NOT NULL,
  phone VARCHAR(20) NOT NULL
);

CREATE TABLE users_name_gender (
  id INTEGER PRIMARY KEY REFERENCES users(id),
  name VARCHAR(50) NOT NULL,
  gender VARCHAR(10) NOT NULL
);

CREATE VIEW users_info AS
SELECT users.id, users_name_gender.name, users_name_gender.gender, users.age, users.address, users.phone
FROM users
JOIN users_name_gender ON users.id = users_name_gender.id;

數據庫分表

將一個大型表分成多個小型表，每個表被稱為一個分表。每個分表可以獨立進行管理和維護，使得數據庫系統的可擴展性和可用性得到了提高。同時，分表還可以提高數據庫系統的查詢速度和并發處理能力，降低數據沖突和死鎖的發生概率。

分表的復雜性就比分區大多了，需要業務邏輯的配合才可以。

數據庫分表的方式有以下幾種：

1. 垂直分表：按照列的業務邏輯將表拆分成多個表，每個表包含一部分列。這種方式適用于表中某些列的訪問頻率較低，或者某些列的數據量較大，可以將這些列獨立成一個表，從而提高查詢性能和并發能力。
2. 水平分表：按照行的業務邏輯將表拆分成多個表，每個表包含部分行數據。這種方式適用于表中數據量較大，或者訪問頻率較高的行可以分散到多個表中，從而減少單個表的數據量，提高查詢性能和并發能力。
3. 分區表：按照某個特定的規則將表分成多個邏輯上的部分，每個部分稱為一個分區。分區可以按照時間、范圍、哈希等方式進行劃分。這種方式適用于表中數據量較大，或者訪問頻率較高的數據可以按照某個規則分散到多個分區中，從而提高查詢性能和并發能力。
4. 組合分表：將垂直分表、水平分表和分區表結合起來使用，可以根據具體的業務需求和數據特點進行靈活的組合，從而達到最優的性能和可擴展性。

舉栗子：

假設有一個訂單表，包含訂單號、用戶ID、下單時間、訂單金額等字段，數據量較大，需要進行分表操作。

1. 垂直分表：將訂單表按照列的業務邏輯進行拆分，可以將訂單金額獨立成一個表，每個表包含訂單號、用戶ID、下單時間和訂單金額。
2. 水平分表：將訂單表按照行的業務邏輯進行拆分，可以按照用戶ID進行拆分，將同一個用戶的訂單分散到多個表中，每個表包含訂單號、下單時間和訂單金額。
3. 分區表：將訂單表按照時間進行分區，可以按照下單時間的年份、月份或日期進行分區，每個分區包含一段時間內的訂單數據。
4. 組合分表：可以將垂直分表、水平分表和分區表結合起來使用，例如按照用戶ID進行水平分表，再按照下單時間進行分區，每個分區包含一個用戶在一段時間內的訂單數據

數據庫分庫

將一個大型數據庫分成多個小型數據庫，每個數據庫被稱為一個分庫。每個分庫可以獨立進行管理和維護，使得數據庫系統的可擴展性和可用性得到了提高。同時，分庫還可以提高數據庫系統的并發處理能力，降低數據沖突和死鎖的發生概率。

• 垂直分庫：

垂直分庫是指將一張表按照列的業務邏輯劃分成多個表，每個表只包含部分列。這種方式適用于某些列經常被查詢，而其他列很少被查詢的情況。垂直分庫的優點是可以將數據分散到不同的物理節點上，從而提高查詢效率和可用性。在 PostgreSQL 中，可以使用視圖或表繼承來實現垂直分庫。

• 水平分庫:

水平分庫是指將一張表按照行的業務邏輯劃分成多個表，每個表包含部分行。這種方式適用于數據量很大，單個節點無法存儲全部數據的情況。水平分庫的優點是可以將數據分散到多個物理節點上，從而提高查詢效率和可用性。在實現水平分庫時，可以使用分片鍵將數據分散到不同的節點上，同時需要考慮數據的一致性和事務處理等問題。

分庫的常見實現方式

1. 數據庫代理：通過在客戶端和數據庫之間插入代理層，將請求分發到不同的數據庫節點上。
2. 分布式事務協議：通過協議實現分布式事務的一致性，保證數據的正確性。
3. 分片鍵路由：通過分片鍵將數據分散到不同的節點上，同時需要考慮數據的一致性和事務處理等問題。
4. 數據庫復制：將數據復制到多個節點上，提高查詢效率和可用性。

什么時候分庫

• 單臺DB的存儲空間不夠時。
• 隨著查詢量的增加單臺數據庫服務器已經沒辦法支撐業務擴展。

總的來說，數據庫分區、分庫和分表的目的都是為了提高數據庫系統的性能和可靠性，使得它能夠更好地應對不斷增長的數據存儲需求。