富士通使用富岳超級計算機訓練LLM

盡管富士通的富岳超級計算機不再是超級計算機500強名單中最快的機器，但它仍然是一個非常強大的系統，A64FX處理器的多功能性允許將其用于各種工作負載，例如AI。本周，富士通發布了Fugaku-LLM，這是一個具有高級日語處理能力的大型語言模型，專為研究和商業應用而設計。

富士通的Fugaku-LLM在富岳超級計算機的13,824個節點上使用3800億個符記進行訓練，該超級計算機基于A64FX處理器，支持FP64、FP32、FP16和INT8模式，適用于各種AI和傳統超級計算機應用。Fugaku-LLM的訓練利用了針對超級計算機架構和互連優化的分布式并行學習技術。

Fugaku-LLM 有 130 億個參數，與 GPT-4 的 1750 億個參數相比顯得蒼白無力，不過，Fugaku-LLM是日本有史以來訓練量的最大 LLM。富士通表示，其130億參數的LLM不需要大量的計算資源來推理，這對日本的企業和研究人員來說是最佳選擇。大約 60% 的訓練數據是日語，40% 的數據是英語、數學和代碼數據。

這種廣泛的以日語為中心的訓練使其有別于其它主要在英語數據集上訓練的日語模型。因此，Fugaku-LLM擁有卓越的日語水平，在日語MT-Bench上獲得了5.5的平均分，這是使用日本原始數據訓練的公開可用模型中的最高分。根據富士通的數據，它在人文和社會科學方面尤其出色，取得了令人印象深刻的 9.18 分的基準分數。

Fugaku-LLM計劃是由東京工業大學、東北大學、富士通株式會社、RIKEN、名古屋大學、CyberAgent和Kotoba Technologies等日本領先機構之間的合作推動的。他們合作的原因之一是通常用于訓練和推理 AI 模型的 GPU 短缺。另一個原因是，該模型可以與富士通的下一代 150 核 Monaka 數據中心 CPU 一起使用，該 CPU 針對 AI 和 HPC 工作負載進行了優化。

Fugaku-LLM現在可以在GitHub和Hugging Face的指定許可條款下用于學術和商業目的（盡管富士通沒有提供任何鏈接）。此外，它從2024年5月10日起通過富士通研究門戶網站提供。