SambaNova, SambaCloud에서 MiniMax M3용 프롬프트 캐싱 지원

SambaNova는 코드 수정 없이 SambaCloud에서 MiniMax M3를 위한 프롬프트 캐싱을 활성화했다.

SambaNova의 공지에 따르면 긴 컨텍스트의 에이전트 워크플로에서 캐시된 접두사를 재사용할 경우 첫 토큰 생성 시간(TTFT)이 35%~88% 단축되고, 전반적인 속도가 최대 4.7배 향상되며, 입력 비용이 90% 절감되어 캐시 토큰 100만 개당 0.06달러가 된다.