Vald分布式矢量搜索引擎

Vald 是一個高度可擴展的分布式快速近似近鄰密集矢量搜索引擎。

Vald 是基于 Cloud-Native 架構設計和實現的。它使用最快的 ANN 算法 NGT 來搜索 neighbors。Vald 具有自動矢量索引和索引備份，以及從數十億特征矢量數據中進行搜索的水平縮放。Vald 易于使用、功能豐富且可根據您的需要高度定制。

主要特點

• 異步自動索引

  • 通常圖形在索引期間需要鎖定，這會導致停止世界。但是 Vald 使用分布式索引圖，因此它在索引期間繼續工作。

• 可定制的入口/出口過濾

  • Vald 實現了它自己的高度可定制的入口/出口過濾器。
  • 可以配置為適合 gRPC 接口。
    • 入口過濾器：能夠根據要求通過過濾器進行矢量化。
    • 出口過濾器：使用您自己的算法重新排列或過濾搜索結果。

• 基于云原生的矢量搜索引擎

  • 可根據您的需求在內存和 CPU 上進行橫向擴展。

• 索引數據自動備份

  • Vald 具有使用 MySQL 或 Cassandra 存儲索引數據備份的功能，可實現災難恢復。

• 分布式索引

  • Vald 將向量索引分發給多個代理，每個代理存儲不同的索引。

• 索引復制

  • Vald 將每個索引存儲在啟用索引副本的多個代理中。
  • 當某些 Vald 代理出現故障時自動重新平衡副本。

• 使用方便

  • Vald 可以通過幾個步驟輕松安裝。

• 高度可定制

  • 您可以配置向量維數、副本數等。

• 支持多語言

  • 支持 Go、Java、Clojure、Node.js 和 Python 客戶端庫。
  • gRPC API 可以由任何支持 gRPC 的編程語言觸發。
  • 還支持 REST API。

要求

• Kubernetes 1.17~
• AVX2 指令（Vald Agent NGT 需要）