法国AI公司Mistral推出超大模型Mixtral 8x22B，问鼎开源榜首

布鲁克 • 2024年 4月 12日 pm2:25 • 未分类 • 阅读 103

在人工智能领域，一场新的竞赛正在激烈展开。昨日，被誉为“欧洲版OpenAI”的法国公司Mistral AI悄然发布了一款全新的MoE（专家混合）大模型——Mixtral 8x22B。这款模型的参数规模高达1760亿，仅次于马斯克的Grok-1，成为了市场上参数规模第二大的开源模型。

Mixtral 8x22B的发布引起了业界的广泛关注。该模型由8个专家模型构成，每个模型的参数规模达到了220亿，模型文件大小约为262GB。在性能上，Mixtral 8x22B在多项测评中取得了令人瞩目的成绩，尤其是在MMLU（大规模多任务语言理解）测试中，该模型成功登顶开源模型榜首，同时在Hellaswag、TruthfulQA、GSM8K等多项测评中，成绩超越了Llama 2 70B、GPT-3.5以及Claude 3 Sonnet等竞争对手。

值得一提的是，尽管Mixtral 8x22B的发布方式相对低调，但其在开源社区中却引起了巨大的反响。在放出磁力链接后不久，Mixtral 8x22B便迅速上架了开源社区Hugging Face，用户可以进一步对其进行训练和部署。AI搜索平台Perplexity Labs和开源平台Together AI也迅速提供了对该模型的支持。

在性能优化方面，AI科学家贾扬清表示，通过合理的量化，Mixtral 8x22B可以在4个A100/H100显卡上运行，实际上，只需要3张A100显卡就足够支持其运行。此外，苹果机器学习研究员Awni Hannun也指出，Mixtral 8x22B模型在苹果机器学习框架MLX上使用M2 Ultra芯片运行良好，并发布了MLX社区中的4位量化模型。

Mistral AI的这一重大突破不仅体现了法国在人工智能领域的强大实力，也进一步推动了全球AI技术的发展。随着开源社区的快速发展，Mixtral 8x22B的发布无疑将为更多开发者和研究人员提供新的机遇和挑战。

此外，Mistral AI的成就也反映了法国AI生态的蓬勃发展。近年来，法国在AI领域取得了显著的进步，从计算机培训学校的创办到深度学习研究院的成立，再到创业园区的兴起，法国已经成为全球AI领域的重要力量。

与此同时，法国AI生态的崛起也吸引了全球科技巨头的关注。谷歌DeepMind在巴黎开设实验室，进一步证明了法国在AI领域的吸引力。而Mistral AI的成功，更是为法国AI生态的未来发展注入了强大的动力。

随着人工智能技术的不断发展，我们期待看到更多像Mistral AI这样的公司能够涌现出来，推动全球AI技术的进步，为人类社会的未来发展贡献更多的智慧和力量。

文章来源于互联网:科技云-法国AI公司Mistral推出超大模型Mixtral 8x22B，问鼎开源榜首