月之暗面Kimi开放平台推出上下文缓存公测，大幅降低长文本模型成本

索隆 • 2024年 7月 2日 pm3:08 • AI • 阅读 187

今日，月之暗面正式对外宣布，其Kimi开放平台上线了全新的上下文缓存（Context Caching）功能，并即日起开启公测。这一创新技术旨在不增加API价格负担的前提下，为开发者提供最高可达90%的成本降低，并显著提升模型响应速度，标志着人工智能服务效率与成本控制的新突破。

据官方介绍，上下文缓存是一种先进的数据管理技术，它通过预先存储频繁请求的大量数据或信息，显著减少了对原始数据源的重复计算与检索需求。当用户再次请求相同信息时，系统能够迅速从缓存中调取，从而大幅降低处理时间和成本。对于依赖长文本模型进行高频查询的应用场景而言，这一技术无疑是一大利好。

Kimi开放平台指出，上下文缓存功能特别适用于以下业务场景：提供大量预设内容的问答机器人（如Kimi API小助手）、针对固定文档集合的频繁查询工具（如上市公司信息披露问答系统）、静态代码库或知识库的周期性分析应用（如各类Copilot Agent），以及瞬时流量巨大的AI爆款应用（如哄哄模拟器、LLM Riddles）等。官方数据显示，启用上下文缓存后，首Token延迟可降低83%，为用户带来前所未有的高效体验。

在计费方面，Kimi开放平台采取了灵活且透明的收费模式，包括Cache创建费用、Cache存储费用和Cache调用费用三部分。具体而言，Cache创建费用按实际Tokens量计费，每百万Tokens收费24元；Cache存储费用则按分钟收取，每百万Tokens每分钟收费10元；而Cache调用费用则分为增量Token费用和调用次数费用，前者按模型原价收费，后者则按每次调用0.02元的标准收取。

值得注意的是，此次公测活动将持续3个月，期间价格可能根据市场反馈进行调整。此外，公测资格将优先开放给Tier5等级用户，其他用户的开放时间将另行通知。这一举措既体现了月之暗面对高质量用户的重视，也为广大开发者提供了一个提前体验并反馈宝贵意见的机会。

随着人工智能技术的不断发展，如何在保证服务质量的同时有效控制成本，成为众多开发者和企业关注的焦点。月之暗面Kimi开放平台此次推出的上下文缓存功能，无疑为这一难题提供了有效的解决方案，有望推动人工智能服务的普及与应用场景的拓展。

文章来源于互联网:科技云-月之暗面Kimi开放平台推出上下文缓存公测，大幅降低长文本模型成本