7月2日消息，Kimi 開放平臺日前宣布其“上下文緩存”技術進入公測階段。該技術可為開發者大幅降低長文本旗艦大模型的使用成本，最高可達90%，并顯著提升模型的響應速度。

據了解，上下文緩存技術作為一種高效的數據管理技術，其核心優勢在于能夠預先存儲并快速提供那些可能被頻繁請求的大量數據或信息。當用戶再次請求相同信息時，系統無需重新計算或從原始數據源中檢索，而是直接從緩存中快速提取，從而顯著節省時間和資源。

Kimi 開放平臺方面以某硬件產品說明書為例介紹了該技術的應用場景。對于一份長達9萬字的說明書，在傳統模式下，售前支持人員需要在10分鐘內對產品的功能/使用方式進行40次問答，問題大概100個字，回答在120字以內。

然而，在接入上下文緩存技術后，9萬字的文檔只需創建并存儲一次緩存，40次問答將僅收取將只收取問題的100字+回答的120字的費用，預計節省費用達92.27%。

業內人士稱，在當前大模型行業日益注重效率和成本控制的背景下，Kimi的這一創新不僅為開發者提供了更經濟、更高效的解決方案，也有望進一步推動大模型行業的應用和發展。

標簽：