苹果发布OpenELM开源语言模型，推进设备端AI发展

乔巴 • 2024年 4月 25日 pm7:08 • AI • 阅读 173

在人工智能领域，苹果公司今日迈出重要一步，发布了一系列名为OpenELM的开源大型语言模型（LLM），旨在直接在设备上运行，而非依赖云服务器。这一创新举措标志着苹果在人工智能领域持续深化，并将为自然语言处理研究与应用带来革命性变化。

OpenELM的发布，不仅丰富了Hugging Face平台上的AI资源，更通过其开源特性，为全球研究人员和开发者提供了一个共享与创新的平台。此次发布的OpenELM模型共有八个版本，其中四个基于CoreNet库进行了预训练，另外四个为指令调整模型，以满足不同应用场景的需求。

苹果在OpenELM的开发中采用了分层扩展策略，这一策略在transformer模型的每一层中有效地分配参数，显著提高了模型的准确性。在大约十亿个参数的预算下，OpenELM相较于OLMo模型，在准确率上提升了2.36%，而所需的预训练数据量却减少了整整一倍。

值得一提的是，苹果在发布OpenELM时，不仅提供了模型的源代码和预训练权重，还分享了完整的训练日志、多个检查点以及预训练配置。这种全面的开放方式，不仅方便了研究人员和开发者对模型进行复现和优化，更有助于推动自然语言人工智能领域的快速发展。

苹果公司表示，OpenELM的发布旨在通过最先进的语言模型“授权和丰富开放研究社区”，为研究人员提供了一种调查风险、数据和模型偏差的方法。开发人员和公司可以原样使用模型或进行修改，以适应各种实际应用场景。

此外，苹果通过OpenELM的开源，也在招募顶级工程师、科学家和专家方面获得了新的优势。开放的信息共享政策为研究人员提供了发表研究论文的机会，这在苹果以往较为保密的政策下是难以实现的。

尽管苹果尚未将其AI功能全面应用于设备，但业界普遍预期，iOS 18将集成众多新的人工智能功能。特别是传言称，苹果正计划出于隐私保护的目的，在设备上直接运行其大型语言模型，这将为用户带来更加流畅和安全的体验。

OpenELM的发布无疑为苹果在人工智能领域的进一步发展奠定了坚实基础。随着越来越多的企业和研究机构加入到这一开源项目中，相信未来自然语言处理领域将迎来更多创新和突破。同时，苹果通过拥抱开源，也展示了其在推动科技进步和开放合作方面的决心和担当。