英伟达NVIDIA推出企业级生成式AI微服务，加速AI应用部署与创新

弗兰克 • 2024年 3月 20日 pm8:10 • 新闻 • 阅读 115

在人工智能领域，企业正面临着前所未有的机遇与挑战。为了满足市场对于快速、高效且定制化AI应用的需求，NVIDIA于太平洋时间2024年3月18日在其总部加利福尼亚州圣何塞，隆重推出了数十项企业级生成式AI微服务。这些微服务旨在为开发者提供一个强大的平台，帮助他们创建和部署定制化的生成式AI助手，同时确保企业对知识产权的完整所有权和控制权。

这些生成式AI微服务是基于NVIDIA CUDA平台开发的云原生服务目录，其中包括NVIDIA NIM微服务，该服务能够优化NVIDIA及其合作伙伴生态系统中20多个热门AI模型的推理性能。此外，用户还可以以NVIDIA CUDA-X微服务的形式，利用NVIDIA加速软件开发套件、库和工具，进行增强生成检索（RAG）、护栏、数据处理、高性能计算（HPC）等操作。值得一提的是，NVIDIA还发布了20多项针对医疗领域的NIM和CUDA-X微服务，进一步拓宽了AI在医疗行业的应用前景。

这些微服务的推出，为NVIDIA的全栈计算平台增添了新的一层。它们将模型开发人员、平台提供商和企业紧密地连接在一起，形成了一个强大的AI生态系统。通过这个标准化的路径，企业可以轻松地运行针对NVIDIA CUDA安装基础（包括云、数据中心、工作站和PC中的数以亿计的GPU）优化的定制AI模型。

NVIDIA创始人兼首席执行官黄仁勋表示，企业平台拥有大量的数据资源，这些数据可以转化为生成式AI助手，为企业带来巨大的商业价值。NVIDIA与合作伙伴生态系统共同开发的这些容器化AI微服务，将成为各行业企业成为AI公司的基石。

值得一提的是，NIM推理微服务的推出，极大地缩短了部署时间，从传统的几周缩短至几分钟。这些微服务提供了基于NVIDIA推理软件的预构建容器，包括Triton推理服务器和TensorRT-LLM，使开发者能够快速构建并部署AI应用。此外，NIM微服务还为语言、语音和药物发现等领域提供了行业标准API，让开发者能够利用自己基础设施中的专有数据，实现更加安全、高效的AI应用开发。

在实际应用中，这些生成式AI微服务已经得到了广泛应用。例如，ServiceNow宣布正在使用NIM来加快针对特定领域的全新助手和其他生成式AI应用的开发和部署。此外，用户还可以从亚马逊SageMaker、谷歌Kubernetes Engine和微软Azure AI等平台访问NIM微服务，并与Deepset、LangChain和LlamaIndex等流行的AI框架进行集成。

除了NIM微服务外，CUDA-X微服务也为AI应用的开发提供了强大的支持。这些微服务为数据准备、定制和训练提供了端到端的构建模块，助力企业加速开发生产级AI。通过利用NVIDIA Riva进行定制语音和翻译AI的开发，以及使用NVIDIA cuOpt进行路由优化，企业可以进一步提升AI应用的性能和准确性。此外，NeMo Retriever微服务的推出，使得开发者能够将AI应用与业务数据紧密链接，从而提高AI助手的准确性和洞察力。

综上所述，NVIDIA推出的企业级生成式AI微服务为企业提供了强大的技术支持和创新动力。这些微服务不仅简化了AI应用的开发和部署流程，还为企业带来了更高的灵活性和性能。随着AI技术的不断发展，相信这些微服务将在未来发挥更加重要的作用，推动AI应用的普及和创新。

文章来源于互联，不代表科技云立场！如有侵权，请联系我们。