Oracle 云基礎設施提供新的 NVIDIA GPU 加速計算實例

生成式 AI 和大語言模型（LLM）不斷推動突破性創新，訓練和推理對算力的需求也隨之急劇上升。

這些現代生成式 AI 應用需要全棧加速計算，首先要有能夠快速、準確處理大量工作負載的先進基礎設施。為了幫助滿足這一需求，Oracle 云基礎設施（OCI）于近日宣布，在 OCI Compute 上全面提供 NVIDIA H100 Tensor Core GPU，同時 NVIDIA L40S GPU 也即將在 OCI Compute 上推出。

OCI 上的 NVIDIA

H100 Tensor Core GPU 實例

OCI Compute 裸機實例配備了具有NVIDIA Hopper架構的 NVIDIA H100 GPU，不僅大幅提升了大規模 AI 和高性能計算的性能，也為各種工作負載提供了前所未有的性能、可擴展性和通用性。

相比于NVIDIA A100 Tensor Core GPU，使用 NVIDIA H100 GPU 的企業可提升 30 倍的 AI 推理性能和 4 倍的 AI 訓練性能。H100 GPU 專為資源密集型計算任務構建，包括訓練 LLM 和在運行 LLM 的同時進行推理等。

BM.GPU.H100.8 OCI Compute 機型配置（Shape）包含 8 顆 NVIDIA H100 GPU，每顆都具有 80GB 的 HBM2 GPU 內存。8 顆 GPU 之間的 3.2TB/s 雙向帶寬使每顆 GPU 都能通過 NVIDIA NVSwitch 和 NVLink 4.0 技術與其他 7 顆 GPU 直接通信。該配置還包含 16 塊容量為 3.84TB 的本地 NVMe 硬盤、112 個內核的第四代英特爾至強 CPU 處理器以及 2TB 系統內存。

簡而言之，該機型配置針對企業最具挑戰性的工作負載進行了優化。

根據工作負載的時間線和規模，OCI Supercluster 使企業能夠通過高性能、超低延遲的網絡，將所使用的 NVIDIA H100 GPU 從單個節點擴展到多達數萬顆 H100 GPU。

OCI 上的 NVIDIA L40S GPU 實例

NVIDIA 與 OCI：企業級 AI

如要了解更多信息，歡迎訪問有關 Oracle 云基礎設施（OCI）、OCI Compute、Oracle 如何邁向 AI 以及 NVIDIA AI Platform 網頁。

Oracle 云基礎設施（OCI）：https://www.oracle.com/cloud/

OCI Compute：https://www.oracle.com/cloud/compute/

Oracle 如何邁向 AI：https://www.oracle.com/artificial-intelligence/

NVIDIA AI Platform：https://www.nvidia.cn/ai-data-science/