Notice: Function _load_textdomain_just_in_time was called incorrectly. Translation loading for the advanced-cron-manager domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the init action or later. Please see Debugging in WordPress for more information. (This message was added in version 6.7.0.) in /www/wwwroot/www.help4uu.com/wp-includes/functions.php on line 6121
Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全 | 科技云
  1. 科技云首页
  2. 产品

Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全

香克斯 • • 产品 • 阅读 125

快科技3月4日消息，Intel已经将NPU加速库开源并放上GitHub，使得基于酷睿Ultra处理器的AI PC可以运行TinyLlama、Gemma-2b之类的轻量级大语言模型。

酷睿Ultra首次引入了NPU AI引擎，可以执行一些轻负载的AI推理任务，并与CPU、GPU搭配处理各种AI工作。

Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全

这次开源的NPU加速库，当然是面向开发人员的，但如果你有一定的编程经验，也可以拿来体验体验。

Intel软件架构师Tony Mongkolsmai展示了利用此开源的NPU加速库，在一台微星尊爵14 AI Evo笔记本上，基于11亿参数的TinyLlma大模型，运行了一个AI聊天机器人，可以进行简单对话。

同时，Windows任务管理器显示，NPU确实被调动起来了。

Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全

Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全

不过，开源NPU加速库目前的功能还很残缺，支持了8比特量化、FP16精度，但还不支持4比特量化、BF16精度、NPU/GPU混合计算等等，技术文档也没有。

Intel承诺，后续会逐渐增加更多功能，比现在要多一倍。

Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全

文章来源于互联网:凤凰网-Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全

赞 (0)
香克斯香克斯
0 0
上一篇 2024年 3月 5日 pm4:16
下一篇 2024年 3月 5日 pm4:16

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

记住昵称、邮箱和网址，下次评论免输入