Notice: Function _load_textdomain_just_in_time was called incorrectly. Translation loading for the advanced-cron-manager domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the init action or later. Please see Debugging in WordPress for more information. (This message was added in version 6.7.0.) in /www/wwwroot/www.help4uu.com/wp-includes/functions.php on line 6121
加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI | 科技云
  1. 科技云首页
  2. 产品

加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI

娜美 • • 产品 • 阅读 99

快科技11月5日消息，近日，摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。

摩尔线程表示，正努力围绕自主研发的统一系统架构GPU、MUSA软件平台，构建完善好用的MUSA应用生态。

vLLM是一个高效且易用的大模型推理和服务框架，支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等，可显著提高大语言模型（LLM）的推理性能。

目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。

摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。

加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI

值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。

同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址：

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI

文章来源于互联网:凤凰网-加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI

赞 (0)
娜美娜美
0 0
上一篇 2024年 11月 5日 pm11:38
下一篇 2024年 11月 6日 am12:09

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

记住昵称、邮箱和网址，下次评论免输入