SambaNova、SambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始
SambaNovaはSambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始した。コード変更なしで入力コストを90%削減して100万キャッシュトークンあたり0.06ドルにし、最初のトークン生成時間（TTFT）を35%〜88%改善する。
#prompt-caching
すべてのAIニュースを見るGPT-6のプロンプトキャッシュはブレークポイントと事前ウォームアップで調整できる
OpenAI Developersによると、アプリケーションは明示的なキャッシュブレークポイントで再利用するプロンプトの接頭辞を選べる。キャッシュ済みのコンテキストを保ったまま推論の強度とツールの利用可否を変更でき、共有コンテキストを事前にウォームアップして応答開始を早められる。
OpenAI Developers、APIのGPT-6向けプロンプトキャッシュを改善
デフォルトのキャッシュヒット率が上がり、より多くのGPT-6入力トークンが最大90%のキャッシュ入力割引を受けられるようになった。OpenAI Developersは、この変更によってエージェントの実行が速くなり、コストも下がると述べている。
OpenAI DevelopersがPrompt Caching Dashboardと診断APIを導入
platform.openai.comの新しいPrompt Caching Dashboardがキャッシュヒット率を追跡する。診断APIはキャッシュの再利用を妨げた変更を特定し、影響を受けたトークン数を推定する。
GPT-6 SolとLunaはAstraのコミュニケーションスタイルを引き継ぎ、キャッシュ済み入力の読み取りは90%オフ
OpenRouterによると、GPT-6 SolとGPT-6 LunaはAstraのより明確で短く、専門用語の少ない回答を用い、OpenAIの改善されたプロンプトキャッシュを備え、キャッシュ済み入力の読み取りは90%オフになる。
Kimi K3がAmazon Bedrockで利用可能に
Kimi.aiによると、Kimi K3はAmazon Bedrock上でコーディング、文書分析、拡張エージェントワークフロー向けに利用でき、Bedrockのアクセス、暗号化、監査の各制御と、明示的なプロンプトキャッシュのサポートを備えている。