数十万个英伟达GPU，Meta攒疯了！

弗兰克 • 2024年 11月 3日 am10:53 • 产品 • 阅读 134

本周早些时候，马克·扎克伯格在 Meta 业绩发布会上表示，该公司正在“一个比十万个 H100 AI GPU 更大的集群上训练 Llama 4 模型，或者比我见过的其他人正在做的任何报道都要大”。虽然这位 Facebook 创始人没有透露 Llama 4 可以做什么，但《连线》杂志援引扎克伯格的话称，Llama 4 具有“新模式”、“更强的推理能力”和“更快的速度”。这是一个至关重要的发展，因为 Meta 正在与微软、谷歌和马斯克的 xAI等其他科技巨头竞争，以开发下一代人工智能 LLM。

Meta 并不是第一家拥有配备 10 万块 Nvidia H100 GPU 的 AI 训练集群的公司。埃隆·马斯克 (Elon Musk)于 7 月下旬启动了一个类似规模的集群，称其为“计算超级工厂”，并计划将其规模翻倍至 20 万块 AI GPU。与此同时，Meta表示，预计到 2024 年底该公司将拥有超过 50 万块 H100 等效 AI GPU，因此它可能已经拥有大量用于训练 Llama 4 的 AI GPU。

Meta 的 Llama 4 采用了一种独特的方法来开发 AI，因为它完全免费发布其 Llama 模型，允许其他研究人员、公司和组织在此基础上进行构建。这不同于 OpenAI 的 GPT-4o 和谷歌的 Gemini 等其他模型，这些模型只能通过 API 访问。然而，该公司仍然对 Llama 的许可证施加了限制，例如限制其商业用途，并且不提供任何有关其训练方式的信息。尽管如此，它的“开源”性质可能有助于它主宰 AI 的未来——我们已经看到了这一点，中国基于开源代码构建的 AI 模型可以在基准测试中与 GPT-4o 和 Llama-3 相媲美。

电力消耗问题

所有这些计算能力都带来了巨大的电力需求，尤其是单个现代 AI GPU每年最多会消耗 3.7MWh 的电力。这意味着十万个 AI GPU 集群每年将至少消耗 370GWh 的电力——足以为超过 3400 万个普通美国家庭供电。这引发了人们对这些公司如何找到如此庞大的供应的担忧，尤其是引入新的电源需要时间。毕竟，就连扎克伯格本人也表示，电力限制将限制人工智能的发展。

例如，埃隆・马斯克为了解决位于孟菲斯的 10 万台计算机的供电问题，不得不采用了几台大型移动发电机。那几台大型移动发电机犹如几个庞然大物矗立在那里，源源不断地为众多计算机输送着电力。然而，这种方式虽然在一定程度上缓解了当下的供电困境，却并非长久之计。

再看谷歌，谷歌的碳排放目标一直处于落后状态。自 2019 年以来，其温室气体排放量竟然增加了 48%。这表明谷歌在发展的过程中，对于碳排放的控制未能达到预期目标。甚至连前谷歌首席执行官也建议，我们应该暂时放弃气候目标，让人工智能公司全力以赴地发展，然后再利用我们后续开发出来的人工智能技术回过头来解决气候危机。但是，这样的建议无疑充满了争议。

然而，当一位分析师问 Meta 公司如何为如此庞大的计算集群供电时，Meta 高管回避了这个问题。另一方面，Meta 的人工智能竞争对手，如微软、谷歌、甲骨文和亚马逊，正在加入核能潮流。他们要么投资小型模块化反应堆，要么重启旧核电站，以确保他们有足够的电力来支持未来的发展。

虽然这些需要时间来开发和部署，但为人工智能数据中心提供小型核电站将有助于减轻这些耗电集群对国家电网的负担。

扎克伯格表示，新款 Llama 4 的较小版本将于明年初发布，该公司正在努力将当前版本的 Llama 交到政府机构手中。他表示：“我们正在与企业合作，使其更易于使用，现在我们还在与公共部门合作，让 Llama 在整个美国政府范围内采用。”

与此同时，随着Meta继续扩大对 AI 的投资，其资本支出将增加，预计将支出 380 亿美元至 400 亿美元，高于上一季度预估的 370 亿美元至 400 亿美元。这一金额大约相当于该公司本季度的整体收入，该公司本季度总收入增长了 19%，达到 406 亿美元。

尽管有报道称 Meta 因员工滥用 25 美元餐券而遭到解雇，但其员工人数仍比去年同期增加了 9%，达到 72,404 人。

Reality Labs 是负责超厚增强现实眼镜（代号为 Orion）及其 Meta Quest VR 耳机的部门。根据财报，Meta 继续预计该部门 2024 年的运营亏损“归因于我们持续的产品开发工作和进一步扩大生态系统的投资” 。该部门本季度亏损 44 亿美元。

“我对我们目前正在做的所有工作都感到十分兴奋。这可能是我所见过的我们这个行业最具活力的时刻，我专注于确保我们能创造出一些很棒的东西，并充分利用未来的机遇，”扎克伯格说。

文章来源于互联网:凤凰网-数十万个英伟达GPU，Meta攒疯了！