Notice: Function _load_textdomain_just_in_time was called incorrectly. Translation loading for the advanced-cron-manager domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the init action or later. Please see Debugging in WordPress for more information. (This message was added in version 6.7.0.) in /www/wwwroot/www.help4uu.com/wp-includes/functions.php on line 6121
苹果推出300亿参数多模态AI大模型MM1.5，可识别UI界面推理自然语言 | 科技云
  1. 科技云首页
  2. 产品

苹果推出300亿参数多模态AI大模型MM1.5，可识别UI界面推理自然语言

香克斯 • • 产品 • 阅读 77

IT之家 10 月 13 日消息，苹果公司现已为旗下多模态大模型 MM 推出 1.5 版本，该版本模型基于前代 MM1 的架构，继续延续数据驱动的训练原则，重点研究在不同训练周期中混合不同类型数据对模型性能的影响。

目前相关模型文档已发布于 Hugging Face 上，IT之家附论文地址如下（点此访问）。

苹果推出300亿参数多模态AI大模型MM1.5，可识别UI界面推理自然语言

该版本模型提供 10 亿-300 亿多种参数规模，拥有图像识别和自然语言推理能力。苹果公司研发人员在新版本中改进了数据混合策略，显著提升了模型在多文本图像理解、视觉引用与定位（Grounding）以及多图像推理方面的能力。

参考论文，团队在 MM1.5 的持续预训练阶段引入了高质量的 OCR 数据和合成图像描述，显著提升了模型对包含大量文本的图像的理解能力。

此外，研究人员在监督式微调阶段分析了不同数据类型对模型表现的影响，优化了视觉指令微调数据的混合方式，从而为模型实现了更高的效率，团队表示，即便是小规模的模型（10、30 亿参数版本）也能表现出色。

值得关注的是，苹果公司本次还推出了专门用于视频理解的 MM1.5-Video 模型和专门处理移动设备用户界面（UI）理解的 MM1.5-UI 模型，其中 MM1.5-UI 模型未来有望作为 iOS 幕后的“苹果牌”AI，其能够处理各种视觉引用与定位任务、总结屏幕上的功能，或者通过与用户的对话进行交互。

尽管 MM1.5 模型在多项基准测试中取得了优秀表现，苹果团队仍计划通过进一步融合文本、图像和用户交互数据，设计更复杂的架构，来提升模型对移动设备 UI 的理解能力，加强“苹果牌”AI 的实力。

文章来源于互联网:凤凰网-苹果推出300亿参数多模态AI大模型MM1.5，可识别UI界面推理自然语言

赞 (0)
香克斯香克斯
0 0
上一篇 2024年 10月 13日 am2:38
下一篇 2024年 10月 13日 am10:53

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

记住昵称、邮箱和网址，下次评论免输入