#prompt-caching

SambaNova가 SambaCloud의 MiniMax M3용 프롬프트 캐싱을 출시해 코드 변경 없이 입력 비용을 90% 절감한 캐시 토큰 100만 개당 0.06달러로 낮추고 첫 토큰 생성 시간(TTFT)을 35%~88% 개선했다.

GPT-6 프롬프트 캐싱은 브레이크포인트와 프리워밍으로 조정할 수 있다

OpenAI Developers는 애플리케이션이 명시적 캐시 브레이크포인트로 재사용할 프롬프트 접두사를 선택하고, 캐시된 컨텍스트를 유지한 채 추론 노력과 도구 사용 가능 여부를 바꾸며, 공유 컨텍스트를 프리워밍해 응답이 더 빨리 시작되게 할 수 있다고 밝혔다.

기본 캐시 적중률이 높아져 더 많은 GPT-6 입력 토큰이 최대 90%의 캐시 입력 할인을 받을 수 있다. OpenAI Developers는 이번 변경으로 에이전트가 더 빠르게 실행되고 비용이 줄어든다고 밝혔다.

platform.openai.com의 새로운 Prompt Caching Dashboard가 캐시 적중률을 추적한다. 진단 API는 캐시 재사용을 막은 변경을 식별하고 영향을 받은 토큰 수를 추정한다.

OpenRouter는 GPT-6 Sol과 GPT-6 Luna가 Astra의 더 명확하고 짧으며 전문 용어가 적은 답변과 OpenAI의 개선된 프롬프트 캐싱을 사용하며, 캐시된 입력 읽기에 90% 할인이 적용된다고 밝혔다.

Kimi.ai는 Kimi K3가 코딩, 문서 분석, 확장된 에이전트 워크플로를 위해 Amazon Bedrock에서 이용 가능하며, Bedrock의 액세스·암호화·감사 제어와 명시적 프롬프트 캐싱 지원을 제공한다고 밝혔습니다.