快科技3月4日消息,Intel已经将NPU加速库开源并放上GitHub,使得基于酷睿Ultra处理器的AI PC可以运行TinyLlama、Gemma-2b之类的轻量级大语言模型。
酷睿Ultra首次引入了NPU AI引擎,可以执行一些轻负载的AI推理任务,并与CPU、GPU搭配处理各种AI工作。
这次开源的NPU加速库,当然是面向开发人员的,但如果你有一定的编程经验,也可以拿来体验体验。
Intel软件架构师Tony Mongkolsmai展示了利用此开源的NPU加速库,在一台微星尊爵14 AI Evo笔记本上,基于11亿参数的TinyLlma大模型,运行了一个AI聊天机器人,可以进行简单对话。
同时,Windows任务管理器显示,NPU确实被调动起来了。
不过,开源NPU加速库目前的功能还很残缺,支持了8比特量化、FP16精度,但还不支持4比特量化、BF16精度、NPU/GPU混合计算等等,技术文档也没有。
Intel承诺,后续会逐渐增加更多功能,比现在要多一倍。
文章来源于互联网:凤凰网-Intel酷睿Ultra NPU AI加速库开源:但功能残缺不全
相关推荐
-
OPPO Find X8系列发布: 搭载潮汐引擎x天玑9400,售4199元起
凤凰网科技讯 (作者/师慧涵)10月24日,OPPO 发布会今日举行,OPPO Find X8系列发布,搭载潮汐引擎x天玑9400,售4199元起。 OPPO Find X8薄至7…
-
小米开放式耳机Pro通过认证:充电盒788mAh、耳机56mAh
IT之家 4 月 23 日消息,科技媒体 xpertpick 昨日(4 月 22 日)发布博文,报道称型号为“M2503E1”的小米耳机设备通过美国联邦通信委员会(FCC)认证,上…
-
三星Samsung Galaxy Tab A7 Lite在新加坡亚马逊可以省36新元,仅售146新元!
三星Samsung Galaxy Tab A7 Lite是一款功能齐全、性能卓越的移动设备,其折扣非常大,目前新加坡亚马逊正在开展一项优惠活动,您可以以146新元的价格购买该产品,…
-
郭明錤:苹果Vision Pro头显的定位和关键应用尚不明晰
原标题:郭明錤:苹果Vision Pro头显软硬件显著超越业界平均水准,但产品定位与关键应用尚不明晰 IT之家 1 月 9 日消息,苹果公司昨晚宣布 Vision Pro 头显将于…
-
小米推出90W GaN三口充电器套售价199元
IT之家 11 月 13 日消息,小米推出一款 90W GaN 三口充电器套装,目前已在小米有品上架开售(点此购买)。该款充电器采用“1A2C”三口设计,支持多口功率分配、采用折叠…
-
京东方展示新一代电竞显示器:500Hz刷新率、1000nits超高亮度
快科技9月6日消息,“2024年京东·显示器行业峰会”昨日在北京召开,主题为“屏天下 显未来”。 会上,京东方发布全新一代ADS Pro+MLED背光显示解决方案,树立了电竞显示的…
-
索尼Xperia 1 VI和Xperia 5 VI手机壳曝光,设计变化引发关注
近日,备受瞩目的索尼Xperia 1 VI和Xperia 5 VI手机保护壳照片在社交网络上被曝光,引发了广大消费者的热烈讨论。此次曝光不仅为我们提供了这两款新机型的外观设计线索,…
-
美国百思买苹果Apple AirPods第二代优惠30美元,仅售99.99美元!
美国百思买苹果Apple AirPods第二代成为市场上最受欢迎的无线耳机之一,目前在美国百思买正开展一项优惠活动,您可以以99.99美元的价格购买该产品,享受30美元的折扣。 A…
-
智能手表制造商Polar遭黑客攻击,临时停用官网在线商店账号登录注册功能
IT之家 10 月 18 日消息,智能手表制造商 Polar 在官网披露自家在 10 月 11 日遭到黑客攻击。其官网在线商店受到黑客干扰,部分用户账号遭到“欺诈性购买”,不过用户…
-
预估今年出货40-45万台,郭明錤称苹果Vision Pro头显使用率低:降低规格非解决答案
IT之家 6 月 20 日消息,天风国际证券分析师郭明錤昨日(6 月 19 日)发布推文,表示根据他的观测情况来看,很多用户购买苹果 Vision Pro 头显之后,使用几次之后就…