Databend v1.0 Release 正式發布

尊敬的 Databenders，在 Databend Labs 成立兩周年之際，我們非常高興地宣布 Databend v1.0 正式發布。Databend 社區一直在致力于解決大數據分析的成本和復雜度問題，并正在被頂級場景和頂級需求所推動。根據可統計信息，每天約 700TB 數據在使用 Databend 寫入到云對象存儲并進行分析，用戶來自歐洲、北美、東南亞、非洲、中國等地，每月為他們節省數百萬美元成本。Databend v1.0 是一個具有里程碑意義的版本，我們相信它將進一步加速云端海量數據分析的發展。

今天，我將首先介紹 Databend v1.0 相比 v0.9 版本所做的改進，然后探討我們團隊的愿景和未來展望?，F在就讓我們開始吧！

v1.0改進

Databend 在版本 v1.0 中實現了驚人的性能提升，在 ClickBench^[1]測試中獲得：數據加載第一名，在查詢環節， c6a.4xlarge第一名， c5a.4xlarge 第二名，c6a.metal第三名。

此外，Databend 社區還在版本 v1.0 中推出了多項新功能：

1

UPDATE

現在，用戶可以使用 UPDATE 語句來更新 Databend 中的數據。

更新語句的格式如下：

--Updateabook(Id:103)
UPDATEbookstoreSETbook_name='Thelonganswer(2nd)'WHEREbook_id=103;

通過支持 UPDATE 功能，Databend 實現了對 CRUD 操作的完整支持。

2

ALTER TABLE

在 v1.0 中，用戶可以使用 ALTER TABLE 來修改 Databend 中的表結構：

--Addacolumn
ALTERTABLEtADDCOLUMNcIntDEFAULT10;

3

DECIMAL

在完成了 Databend 類型系統的大型重構之后，社區在一個堅實的基礎上實現了 DECIMAL 數據類型的支持！

--Createatablewithdecimaldatatype.
createtabletb_decimal(c1decimal(36,18));

--Inserttwovalues.
insertintotb_decimalvalues(0.152587668674722117),(0.017820781941443176);

select*fromtb_decimal;
+----------------------+
|c1|
+----------------------+
|0.152587668674722117|
|0.017820781941443176|
+----------------------+

4

Native Format

在 v0.9 版本中引入的 Native Formatstrawboat^[2]得到了進一步的完善！社區為 strawboat 增加了半結構化數據的支持，并引入了多項性能優化，幫助 Databend 在 HITS 數據集的性能取得了巨大提升。

5

CBO

引入了直方圖框架，可以利用統計信息更為精確地進行代價估算。進一步完善和強化 join reorder 算法，從而大大的提高多表 join 的性能，幫助 Databend 在 TPCH 數據集上的性能取得顯著提升。

6

SELECT FROM STAGE

STAGE 是 Databend 數據流轉的核心。我們之前已經支持從 STAGE 中加載數據和向 STAGE 中導出數據，現在我們更進一步，支持了直接在 STAGE 中進行數據查詢！

用戶只需要為 Databend 創建一個包含數據文件的 STAGE，就可以輕松進行數據查詢，無需編寫復雜的建表語句或繁瑣的數據導入流程。

selectmin(number),max(number)
from@lake(pattern=>'.*parquet');

+-------------+-------------+
|min(number)|max(number)|
+-------------+-------------+
|0|9|
+-------------+-------------+

如果用戶只需要進行一次性的查詢，還可以直接使用更簡短的 URI 形式：

selectcount(*),author
from'https://datafuse-1253727613.cos.ap-hongkong.myqcloud.com/data/books.parquet'
(file_format=>'parquet')
groupbyauthor;

+----------+---------------------+
|count(*)|author|
+----------+---------------------+
|1|JimGray|
|1|MichaelStonebraker|
+----------+---------------------+

7

Query Result Cache

在 v1.0 版本中，Databend 社區借鑒了 ClickHouse 社區的設計，并增加了 Query Result Cache 功能。當底層數據沒有發生變化時，執行相同的查詢會命中緩存，避免了重復執行查詢的過程。

MySQL[(none)]>SELECTWatchID,ClientIP,COUNT(*)ASc,SUM(IsRefresh),AVG(ResolutionWidth)FROMhitsGROUPBYWatchID,ClientIPORDERBYcDESCLIMIT10;
+---------------------+-------------+------+----------------+----------------------+
|watchid|clientip|c|sum(isrefresh)|avg(resolutionwidth)|
+---------------------+-------------+------+----------------+----------------------+
|6655575552203051303|1611957945|2|0|1638.0|
|8566928176839891583|-1402644643|2|0|1368.0|
|7904046282518428963|1509330109|2|0|1368.0|
|7224410078130478461|-776509581|2|0|1368.0|
|5957995970499767542|1311505962|1|0|1368.0|
|5295730445754781367|1398621605|1|0|1917.0|
|8635802783983293129|900266514|1|1|1638.0|
|5650467702003458413|1358200733|1|0|1368.0|
|6470882100682188891|-1911689457|1|0|1996.0|
|6475474889432602205|1501294204|1|0|1368.0|
+---------------------+-------------+------+----------------+----------------------+
10rowsinset(3.255sec)

MySQL[(none)]>SELECTWatchID,ClientIP,COUNT(*)ASc,SUM(IsRefresh),AVG(ResolutionWidth)FROMhitsGROUPBYWatchID,ClientIPORDERBYcDESCLIMIT10;
+---------------------+-------------+------+----------------+----------------------+
|watchid|clientip|c|sum(isrefresh)|avg(resolutionwidth)|
+---------------------+-------------+------+----------------+----------------------+
|6655575552203051303|1611957945|2|0|1638.0|
|8566928176839891583|-1402644643|2|0|1368.0|
|7904046282518428963|1509330109|2|0|1368.0|
|7224410078130478461|-776509581|2|0|1368.0|
|5957995970499767542|1311505962|1|0|1368.0|
|5295730445754781367|1398621605|1|0|1917.0|
|8635802783983293129|900266514|1|1|1638.0|
|5650467702003458413|1358200733|1|0|1368.0|
|6470882100682188891|-1911689457|1|0|1996.0|
|6475474889432602205|1501294204|1|0|1368.0|
+---------------------+-------------+------+----------------+----------------------+
10rowsinset(0.066sec)

8

Table Data Cache

緩存是存算分離架構中的重要組成部分。在 v1.0 版本中，Databend 社區為我們帶來了 Table Data Cache！當 Databend 執行查詢時，會根據訪問數據的熱度情況決定是否將該數據塊保存到緩存中，以加速下一次訪問。

Aggregate Spill

在 v1.0 版本中, Databend 引入了 Aggregate spill, 當在 Databend 中執行聚合查詢時, 會根據 Databend 當前的內存使用情況動態，決定將內存中的聚合數據臨時保存并持久化到對象存儲中, 防止查詢過程中使用過高的內存。

未來展望

經過這些版本的打磨，Databend 終于有了一個雛形?，F在，讓我們重新認識一下 Databend：

Part.

1

一個使用 Rust 開發的云原生數據倉庫：存算分離，面向對象存儲設計，極致彈性

Part.

2

支持完整的 CRUD 特性，提供了 MySQL/Clickhouse/HTTP RESTful 等協議支持

Part.

3

提供原生的 ARRAY、MAP、JSON 等復雜類型和 DECIMAL 高精度類型支持

Part.

4

構建了類似于 Git 的 MVCC 列式存儲引擎，支持 Data Time Travel 和 Data Share 能力

Part.

5

不受存儲供應商的限制，可以在任何存儲服務上運行，并直接查詢任何存儲服務上的數據

Part.

6

目前已全面支持 HDFS/Cloud-Based Object Storage 協議，包括：阿里云 OSS，騰訊云 COS，華為云 OBS，以及 S3，Azure Blob, Google Cloud Storage

Databend 的征程遠遠不止于此，在未來我們希望 Databend 能擁有：

1

更強大的功能

在緊隨其后的 v1.1 版本中，我們希望實現如下功能：

• JSON 索引：提高半結構化數據檢索能力

• 分布式 Ingest 能力：提高數據寫入速度

• MERGE INTO 功能：實現數據源增、刪、改的實時 CDC 能力

• Windows Function

我們希望這些功能能進一步滿足用戶的需求，并且實現 Databend 在 CDC 場景下的突破。

2

更開放的社區

Databend Labs 由一群開源愛好者組成，Databend 項目從創建之初就是采用 Apache 2.0 協議授權的開源項目。在借鑒和吸收 ClickHouse，CockroachDB 等開源項目優秀思想的同時，我們也在以自己的方式回饋社區：

• 開源了Databend 元數據服務集群的共識引擎openraft^[3]

• 向 Apache 軟件基金會捐贈了底層的數據訪問引擎 opendal^[4] 并成功進入孵化器開始孵化

• 成為向量計算基礎庫 arrow2 等多個依賴項目的貢獻者

• 跟進并采用 Rust Nightly，幫助 Rust 社區復現并驗證問題

沒有開源社區就沒有今天的 Databend，感謝 144 個參與 Databend 的貢獻者！接下來，我們將更開放地與其他開源社區合作，支持讀寫 Iceberg^[5]、Delta Lake^[6] 等格式，打破數據間的壁壘，使數據能夠更自由靈活地流轉。