据 The Information 报道，Meta 即将拥有一个由 10 万台 GPU 组成的集群，计划利用这一 GPU 集群来训练其下一代 Llama 模型，即 Llama 4。
Meta 的 GPU 集群将由超过 10 万台 Nvidia H100 服务器芯片组成，预计将在 2024 年 10 月或 11 月完成。这一集群的建设成本可能超过 20 亿美元，主要用于训练 Meta 的 Llama 4 模型。
Meta 的这一集群将位于美国某地，具体位置尚未公开。该集群的建设是 Meta 在 AI 领域的一项投资，旨在提升其在大型语言模型训练中的竞争力。Meta 的 Llama 4 模型预计将比之前的版本更为强大，能够处理更复杂的任务和更大规模的数据集。
根据 Omdia 的数据，Meta 在 2023 年采购了约 15 万台 Nvidia GPU，仅次于微软。Meta 还计划到 2024 年底拥有相当于 60 万台 Nvidia H100 GPU 的 AI 算力。
与其他科技巨头如谷歌、微软和 OpenAI 相比，Meta 的硬件投资规模和速度都处于领先地位。谷歌、亚马逊、甲骨文和腾讯等公司在 2023 年分别采购了约 5 万台 Nvidia H100 GPU。
Meta 计划利用这一 GPU 集群来训练其下一代 Llama 模型，并开发更多的 AI 应用和服务。