快科技11月5日消息，近日，摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。
摩尔线程表示，正努力围绕自主研发的统一系统架构GPU、MUSA软件平台，构建完善好用的MUSA应用生态。
vLLM是一个高效且易用的大模型推理和服务框架，支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等，可显著提高大语言模型（LLM）的推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。
同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址：
https://github.com/MooreThreads/vLLM_musa
文章来源于互联网:凤凰网-加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI
相关推荐
-
高通明年将迭代AR1芯片，升级为3nm工艺，年底与谷歌发布全新XR操作系统
近两年来，借助苹果的助推，加上产业链的完善和技术的进步，AR行业迎来了快速发展阶段。根据洛图科技公布的数据显示，今年上半年，中国市场AR销量同比增长了49%。值得一提的是，终端市场…
-
iQOO WATCH预热：支持独立通信，搭载蓝河操作系统
今日，iQOO 官方宣布，全新的 iQOO WATCH 将在 12 月 27 日 19:00 正式发布。这款手表不仅支持手表独立通信，还搭载了 vivo 自研的蓝河操作系统，为智能…
-
尼康被曝下周发布Z6 III相机：7月发售，售价预估3000欧元
IT之家 6 月 7 日消息，科技媒体 Nikon Rumors 昨日发布博文，曝料尼康将于下周（6 月 10-12 日期间，周一到周三）正式发布 Z6 III 相机，预估 7 月…
-
机构：预估2024年Apple iPad Pro合计出货量为450万至500万台
《科创板日报》8日讯，据市场调研机构TrendForce集邦咨询报告，新一代的iPad Pro的售价相较前一代提升200美元，加上iPad Air也同步推出13吋产品，这也可能因火…
-
消息称苹果暂停Vision Pro 2研发，外媒希望当前版本升级M4芯片
IT之家 6 月 23 日消息，此前有消息称苹果公司叫停了 Vision Pro 正统续代产品的研发，转而将精力集中于推出更轻薄、更具大众吸引力的平价版 Vision 设备。 对此…
-
用什么吸引用户花3万元买Vision Pro头显？苹果加速探索“杀手级应用”
IT之家 7 月 13 日消息，金融时报（FT）昨日发布博文，表示苹果公司正不遗余力地推动 Vision Pro 头显生态，吸引更多 visionOS 开发者，并积极探索“杀手级应…
-
古尔曼：苹果Apple iOS 18或成iPhone史上最大软件更新
据彭博社的马克·古尔曼透露，苹果Apple对即将发布的iOS 18有宏伟的计划。他表示，iOS 18有可能成为iPhone历史上最大的软件更新，将带来一系列重大改进。 首先，iOS…
-
消息称小米隐秘布局AI眼镜：和歌尔合作，预计明年Q2发布
IT之家 11 月 13 日消息，据“智能涌现”今日报道，小米正计划推出新一代 AI 眼镜，数月前已与歌尔合作，该产品预计于 2025 年 Q2（大概率是 4 月份的米粉节）发布。…
-
大疆最小无人机Neo重磅升级：支持竖拍视频 发抖音太方便
快科技11月7日消息，大疆最新款迷你无人机DJI Neo迎来了一次重要固件更新，版本号为V01.00.0400。此次升级带来了三项关键功能改进，旨在提升用户体验和扩展飞行乐趣。 首…
-
三星Samsung8公斤全自动滚筒洗衣机在印度亚马逊可以省14810卢布，仅售36990卢布！
三星Samsung8公斤全自动滚筒洗衣机是一款功能齐全、性能卓越的家用电器，其折扣非常大,目前印度亚马逊正在开展一项优惠活动,您可以以36990卢布的价格购买该产品,可以享受148…
