?
12月16日,AI時代數據存儲管理新挑戰分論壇在無錫成功召開,會上來自螞蟻集團、SphereEx、平凱星辰、九章云極DataCanvas、StreamNative、騰訊云和華為的技術專家,共同分享了AI時代下數據庫技術最新發展與實踐。
螞蟻集團開發工程師、HoraeDB 核心開發者 曹瑞秋 曹瑞秋在《時序數據庫HoraeDB 技術揭秘》的主題分享中表示,近期已將CeresDB內核捐獻到Apache基金會,捐獻的內核即為HoraeDB(CeresDB現已更名為HoraeDB)。目前主流的InfluxDB、Prometheus、VictoriaMetrics等時序數據庫仍存在時間線高基數問題和社區分布式方案不夠完備等問題。而HoraeDB采用倒排索引支持多維查詢,時間線少,適配度高的場景,倒排索引能直接全量存放在內存中。HoraeDB的高基數解決方案的核心是摒棄時間線概念,去除對倒排索引的強依賴,針對不同tag靈活選擇索引。此外,曹瑞秋還詳細介紹了HoraeDB分布式查詢優化、Memtable/SST read等優化設計思路。 ?SphereEx創始人 張亮 張亮發表了《數據庫增強計算引擎:數據庫架構革新新思路》主題演講。他認為在海量數據急速擴張,OLTP、OLAP、HTAP等多種數據應用場景,數據庫技術棧碎片化等情勢下,數據系統應對上應用層零入侵,數據庫本身工具化,因此中間加速引擎則具有創新性、可插拔、平臺化。SphereEx公司是由Apache頂級開源項目ShardingSphere核心團隊創立,致力于為企業提供面向新一代數據架構的數據庫增強引擎(DBPlusEngine),提供企業級、云原生的輕量級分布式數據庫解決方案、數據安全合規及信創平滑替換產品和服務,解決了企業海量數據的存儲與計算、數據安全合規等問題,幫助企業實現數據架構的轉型升級。 ?平凱星辰TiDB Serverless生態負責人 張翔 張翔發表了《TiDB Serverless:構建一個云原生的Serverless數據庫》主題演講。他首先介紹了TiDB 是開源、兼容MySQL、具有分布式,可保障業務連續性的真正的內核級HTAP分布式混合負載數據處理平臺,在此之后的TiDB Serverless是在去年由PingCAP推出的一款云原生的Serverless數據服務演進而來,已經由經典分布式HTAP改造為下一代Cloud Native架構。因此可以實現如支持多租戶的統一接入網關、TiFlash計算存儲分離、計算資源池化、TiKV Keyspace,以及Scale to Zero、實時喚醒、自動擴縮容等按需分配,可以利用云上的海量資源、高達11個9的持久性、微服務化,更高效地使用云上資源,降低爆炸半徑等真正的原生性能,以此實現全量數據的彈性,以及簡單易用,降低AI時代的數據成本。 ?九章云極DataCanvas資深架構師 孟圣智 孟圣智發表了《DingoDB:融合SQL與向量,構建功能完整的RAG數據庫底座》主題演講,他表示AI時代數據需要從更多存儲變為更易檢索,九章云極DataCanvas作為AI基礎軟件供應商,自主研發的DingoDB多模向量數據庫,實現結構化與非結構化的聯合存儲、分析和查詢。DingoDB既是關系數據庫,支持SQL、支持事務,符合用戶使用關系型數據庫的習慣。同時,DingoDB也是向量數據庫,支持Python和Java SDK,可以像使用大多數純向量數據庫一樣,無縫對接LLM App,可以實現企業知識庫、大模型記憶體、實時決策指標計算能力、非結構化數據的檢索、Vector Ocean數據支撐平臺、結構化與非結構化的融合分析等多種知識檢索應用場景。 ?StreamNative聯合創始人、Apache Pulsar PMC Member 翟佳 翟佳發表了《云原生批流融合數據平臺助力AI/LLM的實時數據處理》主題演講,他表示Pulsar從捐贈給Apache軟件基金會后的幾年里一直在高速增長。Pulsar采用存算分離云原生架構、支持多種語言,批和流統一視圖,可以與Flink、Spark等批流一體計算引擎有效地結合,方便管理實時和歷史數據,確保數據新鮮度,將批流一體的數據與向量數據庫結合,確保大模型的數據顯現度和準確性,以提高模型準確性,降低模型幻覺。 ?騰訊開源專家 耿航 耿航發表了《騰訊云TDSQL平滑去O的機遇挑戰與開源實踐》主題演講,他表示核心數據庫平滑替換,需要從內核、性能、使用習慣三個層面全面兼容,并且是一個完整的系統工程。騰訊云分布式數據庫TDSQL PG開源社區版OpenTenBase是完整去O和兼容O的數據庫內核,以內核兼容為基礎,打造從驅動、工具、內核三個層面的甲骨文兼容能力,填補基于Postgres的開源分布式HTAP系統的空白。OpenTenBase已吸引超過10個國家和地區的開發者關注,希望通過騰訊及上下游伙伴的技術投入,打造立足中國,面向全球的開放數字基礎設施數據底座。 ?華為openGauss內核技術專家 胡正超 胡正超發表了《openGauss內核架構雙引擎,驅動大規模數據處理》主題演講,并分享了openGauss 5.1版本持續在高性能、高可用、高安全、高智能內核上增強能力,同時在DataPod和DataKit持續創新,目標是實現更高效的大規模數據處理,更豐富的場景支持,更便捷的使用體驗。其中DataPod在5.1版本實現了一些新功能,提升了系統的易用性、可用性和性能。DataKit為openGauss的數據全生命周期生產力工具,當前持續在平臺架構和功能插件上構建新功能,如增加告警中心、數據遷移、開發、運維等插件。 近幾年數據庫百花齊放,快速發展。生成式AI爆發之后,AI大模型加速普及應用,模型訓練推理的準確性,對系統數據與信息的存儲、檢索、計算提出了新挑戰。從本次分論壇嘉賓分享的干貨內容,我們可以看到,針對AI的數據系統可能正在走向殊途同歸的技術路徑,那就是分布式原生、實時、向量化(時序也可看作一種向量),另外存算分離、并行架構,以滿足AI對數據的性能、成本等要求。
點擊“閱讀原文”訪問AtomGit
下載經嘉賓授權的演講材料
原文標題:AI時代數據存儲管理新挑戰分論壇圓滿舉辦
文章出處:【微信公眾號:開放原子】歡迎添加關注!文章轉載請注明出處。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
OpenHarmony
+關注
關注
24文章
3442瀏覽量
15291 -
開放原子基金會
+關注
關注
1文章
467瀏覽量
4986
原文標題:AI時代數據存儲管理新挑戰分論壇圓滿舉辦
文章出處:【微信號:開放原子,微信公眾號:開放原子】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
2024研華AIoT創新應用論壇青島站圓滿舉辦
2024研華AIoT創新應用論壇青島站圓滿落幕,聚焦智能制造及智慧能源、智能設備、智慧城市、邊緣智能四大產業,攜手伙伴進行深度話題分享與方案展示。
OpenHarmony城市技術論壇第8期——廈門站圓滿舉辦
2024年4月20日上午,OpenHarmony城市技術論壇(以下簡稱“技術論壇”)第8期——廈門站于廈門大學翔安校區信息學院圓滿舉辦。本次技術論壇
OpenHarmony城市技術論壇——第7期(大連站)圓滿舉辦
站于大連理工大學開發區校區圖書館報告廳圓滿舉辦。本次技術論壇從“終端操作系統十大技術挑戰”出發,以“邊緣智能”為主題,聚焦于邊緣智能系統設計、高效模型推理與通信協議、
OpenHarmony城市技術論壇——第6期(武漢站)圓滿舉辦
)于華中科技大學梧桐語問學中心明德報告廳圓滿舉辦。本次技術論壇從“終端操作系統十大技術挑戰”出發,將主題聚焦在“大模型時代的系統軟件”,從學
OpenHarmony城市技術論壇——第6期(武漢站)圓滿舉辦
2023年12月23日下午,OpenHarmony城市技術論壇(以下簡稱“技術論壇”)——第6期(武漢站)于華中科技大學梧桐語問學中心明德報告廳圓滿舉辦。本次技術
AI 時代的前端開發分論壇圓滿舉辦
的“AI 時代的前端開發分論壇”成功舉行。 開放原子開源基金會 TOC 導師、資深 Web 開發專家 賀師俊 賀師俊 擔任論壇出品人,并與來自一線企業的前端開發者共同探討和分享在
誠邀報名 | AI 向量、云原生、開源,今年的數據庫熱點技術都在這里
2023 開放原子開發者大會 OPEN ATOM DEVELOPERS CONFERENCE AI 時代數據庫存儲管理新挑戰分論壇 2023
信息與數據安全前沿分論壇圓滿舉辦
12月17日,作為2023開放原子開發者大會15場平行分論壇中唯一的一場數據安全論壇,“信息與數據安全前沿論道”分論壇成功召開。該
AI時代的前端開發分論壇圓滿舉辦
隨著人工智能技術的飛速發展,各行各業正在經歷前所未有的變革。在這個過程中,前端開發者作為技術革新的前沿力量,正面臨著前所未有的發展機遇和挑戰。 12月17日,2023開放原子開發者大會的“AI時代
誠邀報名 | AI 向量、云原生、開源,今年的數據庫熱點技術都在這里
2023開放原子開發者大會 . OPENATOM DEVELOPERS CONFERENCE AI時代數據庫存儲管理新挑戰分論壇 2023.
OpenHarmony Meetup 2023北京站圓滿舉辦
的蓬勃發展?!?
OpenHarmony 項目群技術指導委員會委員賈寧致辭
OpenHarmony 項目群技術指導委員會委員賈寧在《 萬物智聯操作系統的關鍵技術挑戰》演講中提到:“萬物智聯時代
發表于 11-29 09:51
OpenHarmony城市技術論壇第4站——北京站圓滿舉辦
2023年7月27日,OpenHarmony城市技術論壇(以下簡稱“技術論壇”)第4站——北京站于北京黃大年茶思屋圓滿舉辦。本次技術論壇從“
評論