#sambanova

SambaNova가 SambaCloud의 MiniMax M3용 프롬프트 캐싱을 출시해 코드 변경 없이 입력 비용을 90% 절감한 캐시 토큰 100만 개당 0.06달러로 낮추고 첫 토큰 생성 시간(TTFT)을 35%~88% 개선했다.

SambaNova, SN50가 RDU 디코드를 기존 GPU와 페어링해 프리미엄 추론을 제공한다고 밝혀

SambaNova는 SN50이 프리필을 위해 기존 GPU와 RDU 디코드를 페어링하여 프리미엄 추론용으로 구축되었다고 밝혔습니다. 70% 청구 가능 활용률 계획 가정 하에 6개월 내 ROI를 인용했습니다.