回顧數據倉庫的發(fā)展歷程,大致可以將其分為幾個(gè)階段:萌芽探索到全企業(yè)集成時(shí)代、企業(yè)數據集成時(shí)代、混亂時(shí)代--"數據倉庫之父"間的論戰、理論模型確認時(shí)代以及數據倉庫產(chǎn)品百家爭鳴時(shí)代。
數據倉庫理論發(fā)展歷程
上世紀70年代,IBM的E.F.Codd等人提出關(guān)系型數據庫后,MIT的研究員提出單獨構建分析系統的基礎理論,新的理論試圖將業(yè)務(wù)處理系統和分析系統分開(kāi),即將業(yè)務(wù)處理和分析處理分為不同層次,針對各自的特點(diǎn)采取不同的架構設計原則。他們認為這兩種信息處理的方式具有較大差別,應使用不同的架構和設計。但受限于當時(shí)的技術(shù)能力,這個(gè)研究?jì)H僅停留在理論層面。
到了80年代初,W.H.Inmon 開(kāi)始了“記錄系統”、“本原數據”、“決策支持數據庫”等專(zhuān)題的研究。幾乎同時(shí),J. Martin在關(guān)于數據庫分類(lèi)的研究中,專(zhuān)指一種他稱(chēng)之為“第4類(lèi)數據庫”的“由用戶(hù)驅動(dòng)的計算環(huán)境”,為這種環(huán)境提供信息服務(wù)的是一種以“搜索和快速信息回收”為基本特征的數據庫。這個(gè)定義已經(jīng)和后來(lái)的數據倉庫十分類(lèi)似。
1988年,IBM 公司的研究員創(chuàng )造性地提出了一個(gè)新的概念--數據倉庫(Data Warehouse)。到了1991年,數據倉庫之父W.H.Inmon出版數據倉庫經(jīng)典作品--《構建數據庫倉庫》,標志著(zhù)數據倉庫概念的確立。書(shū)中指出,DW是一個(gè)面向主題的、集成的、相對穩定的、反映歷史變化的數據集合,并且是用于支持管理決策的數據集合。該書(shū)還提供了建立數據倉庫的指導意見(jiàn)和基本原則,憑借著(zhù)這本書(shū),W.H.Inmon被稱(chēng)為數據倉庫之父。
由于傳統的關(guān)系型數據庫已無(wú)法滿(mǎn)足構建數據倉庫的需求,在1993年Codd提出了多維數據庫和多維分析的概念,即OLAP(On-Line Analysis Processing聯(lián)機分析處理)。當時(shí)Codd認為OLTP(On- Line Transaction Processing 聯(lián)機事務(wù)處理)已不能滿(mǎn)足終端用戶(hù)對數據庫查詢(xún)的需要,SQL對大數據庫進(jìn)行的簡(jiǎn)單查詢(xún)也不能滿(mǎn)足用戶(hù)分析的需求。用戶(hù)的決策分析需要對關(guān)系數據庫進(jìn)行大量計算才能得到結果,而查詢(xún)的結果并不能滿(mǎn)足決策者提出的需要。因此提出了多維數據庫和多維分析的概念,即OLAP。
1995年,Ralph Kimball出版了《數據倉庫工具箱》,數據倉庫行業(yè)進(jìn)入少林和武當之爭。Inmon主張建立數據倉庫時(shí)采用自上而下方式,以關(guān)系型數據庫的第3范式進(jìn)行數據倉庫模型設計,而Kimball則是主張自下而上的方式,力推數據集市(Data Market)建設。兩位數據倉庫領(lǐng)域的大咖為此吵得不可開(kāi)交,他們的粉絲也紛紛站隊,這種爭吵直到Inmon推出新的BI架構CIF,把Kimball的數據集市包括了進(jìn)來(lái)才算平息。
早期MPP時(shí)代的數倉
IBM DB2和Teradata是早期數倉理論的實(shí)踐者,也是市場(chǎng)領(lǐng)導者。其中Teradata是MPP數倉最成功的商業(yè)產(chǎn)品,幾乎是行業(yè)的天花板。誕生于1970年代末的Teradata公司,名稱(chēng)來(lái)源于Tera Bytes,TB數據的存儲也展示了哪個(gè)年代創(chuàng )業(yè)者的雄心壯志。終于在1992年第一個(gè)TB 級的數據庫在華爾街出現。1999年,客戶(hù)擁有130TB的數據分布于176個(gè)節點(diǎn)。短短7年時(shí)間,Teradata客戶(hù)的數據規模翻了176倍。
但進(jìn)入新千年后,數據庫巨頭間的競爭進(jìn)入白熱化階段,以Oracle Exadata為代表的一體機很快嶄露頭角。之后在Postgres基礎上演變而來(lái)的Greenplum構建了開(kāi)源的MPP架構數倉,也在市場(chǎng)中有很高的影響力。但真正讓數倉煥然一新的是云計算時(shí)代的云原生數倉Snowflake。
一體機時(shí)代的數倉
新千年后,數倉進(jìn)入一體機的快速發(fā)展時(shí)代,典型代表是Netezza、SAP HANA和Oracle Exadata。Netezza率先推出,后來(lái)被IBM收購。而Oracle Exadata為代表的一體機依然是今天Oracle公司的核心業(yè)務(wù)。2008年,Exadata V1誕生,由Oracle提供軟件惠普提供硬件,這一代產(chǎn)品僅支持數據倉庫和商務(wù)智能等OLAP工作。到了2009年9月,Exadata V2發(fā)布,采用了SUN的(此后MySQL也屬于了Oracle),次年Oracle完成了SUN的收購。在V2版本中,Exadata存儲節點(diǎn)中首次采用了Flash卡,從而可以同時(shí)支持OLAP和OLTP類(lèi)型的負載。有了高性能產(chǎn)品的同時(shí)也有了極其昂貴的價(jià)格。
著(zhù)名的Conor O'Mahony(DB2的市場(chǎng)經(jīng)理)羅列了使用一臺全機架系統(full-rack)Exdata V2所需的費用列表:
$1,150,000 硬件價(jià)格
$1,680,000 存儲服務(wù)器的軟件價(jià)格
$369,600 存儲服務(wù)器軟件支持和維護費用(以22%計)
$1,520,000 Oracle企業(yè)版軟件價(jià)格($47.5k*8 servers*8 cores*0.5 Intel core factor)
$736,000 Oracle RAC軟件價(jià)格($23k*8 servers*8 cores*0.5 Intel core factor)
$368,000 Oracle分區特性?xún)r(jià)格 ($11.5k*8 servers*8 cores*0.5 Intel core factor)
$368,000 Oracle高級壓縮(Advanced Compression) ($11.5k*8 servers*8 cores*0.5 Intel core factor)
$160,000 Oracle企業(yè)管理器診斷包(推薦安裝)
$160,000 Oracle企業(yè)管理器調優(yōu)包(推薦安裝)
$728,640 以上除去存儲服務(wù)器軟件的第一年軟件維護支持價(jià)格(以22%計)
Oracle Exadata 一體機
如此昂貴的價(jià)格,對于一般企業(yè)顯然無(wú)法接受。人們相信全新一代的數倉技術(shù)一定會(huì )在一個(gè)萬(wàn)眾囑目的情況下出現,像蓋世英雄身披金甲圣衣,腳踏七彩祥云而來(lái)。
云計算時(shí)代的數倉
隨著(zhù)移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的蓬勃發(fā)展,率先掀起數據庫革命的是Google公司,他的三篇論文開(kāi)啟了大數據時(shí)代,之后言數倉、大數據必稱(chēng)Hadoop。但它的弊病也頗為明顯,昂貴、不方便使用、難維護等問(wèn)題始終無(wú)法很好的解決。直到計算機行業(yè)七彩祥云--云計算出現,為整個(gè)行業(yè)和人類(lèi)生活帶來(lái)巨大變化。而此時(shí)的數據倉庫在變更的前夜顯得異常安靜,古語(yǔ)言:三年不鳴一鳴驚人,Snowflake 就是三年不飛一飛沖天的云計算時(shí)代云原生數倉產(chǎn)品。
2012年,在Oracle公司工作十多年的2位程序員決心在云上建立一個(gè)數據倉庫,于是誕生了Snowflake公司。它誕生的第一天,就有云計算的特點(diǎn):存儲與計算分離、按量付費、云中立。作為第一個(gè)基于云原生的數據倉庫,Snowflake 敏銳的抓住從本地到上云的時(shí)代趨勢,充分利用公有云強大基礎設施能力,讓用戶(hù)更加輕松實(shí)現跨云平臺、跨區域的方式移動(dòng)數據。這種基于云原生、云中立、跨多云平臺的云原生數據服務(wù),為客戶(hù)提供巨大數據價(jià)值的同時(shí),極大降低了客戶(hù)使用、維護、價(jià)格成本。
Snowflake產(chǎn)品上的成功同時(shí)也取得資本市場(chǎng)的巨大成功。2020年9月16日,在紐交所成功IPO,股神巴菲特斥幾億美元入股,交易首日股價(jià)翻倍市值達到704億美元,成為史上規模最大的軟件IPO,之后市值一度最高突破1200億美元,儼然成為資本市場(chǎng)的寵兒。
數據倉庫和數據庫關(guān)系
廣義的數據倉庫并不是一項技術(shù),也不是一個(gè)產(chǎn)品,而是一種數據處理過(guò)程。數據倉庫的數據來(lái)源有多種,業(yè)務(wù)系統、日志、互聯(lián)網(wǎng)、系統運行參數等等,這些數據可以在數據倉庫中進(jìn)行匯合,然后通過(guò)統一的建模,加工成服務(wù)與數據分析的數據模型,最終輔助企業(yè)分析決策。
那如何構建數據倉庫呢?常見(jiàn)的是使用OLAP數據庫(如近年流行Clickhouse)存儲數據,通過(guò)數據建模、ETL、數據可視化等一系列操作,這一過(guò)程被稱(chēng)為構建數據倉庫。由于數據倉庫基于OLAP產(chǎn)品,是做在線(xiàn)分析處理,這是與數據庫的本質(zhì)區別。另外,既然是數據倉庫就要加工數據,加工數據會(huì )耗時(shí)間,所以加工數據在實(shí)際的應用中又分為批處理和實(shí)時(shí)處理。而傳統的數據庫是為了解決事務(wù)存在的,他們的區別如下。
總結和展望
數據倉庫是80~90年代提出的概念,互聯(lián)網(wǎng)企業(yè)為了解決更大數據量的管理問(wèn)題,掀起了大數據技術(shù)新浪潮,大數據已經(jīng)跳出了數倉定義領(lǐng)域,未來(lái)再專(zhuān)題闡述。隨著(zhù)2020年云原生數倉Snowflake上市并取得巨大的成功,大家開(kāi)始趨向把數據倉庫、大數據、數據湖、云存儲的技術(shù)全面融合,全世界掀起了云原生數據倉庫和湖倉一體的熱潮,國際上Databricks、Clickhouse已經(jīng)正面PK,國內有SequoiaDB、MaxCompute,AnalyticDB,GaussDB(DWS),OuShuDB、StarRocks、SelectDB、HashData等不下數十款產(chǎn)品,還有很多類(lèi)似HTAP新品在路上,未來(lái)必將迎來(lái)百倉大戰的腥風(fēng)血雨。
數據倉庫發(fā)展史
審核編輯 黃昊宇
-
數據庫
+關(guān)注
關(guān)注
7文章
3628瀏覽量
63690
發(fā)布評論請先 登錄
相關(guān)推薦
評論