SambaNova、SambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始
SambaNovaはSambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始した。コード変更なしで入力コストを90%削減して100万キャッシュトークンあたり0.06ドルにし、最初のトークン生成時間（TTFT）を35%〜88%改善する。
#sambanova
すべてのAIニュースを見るSambaNova、SN50はRDUデコードを既存GPUと組み合わせてプレミアム推論を実現と発表
SambaNovaは、SN50がプリフィル用の既存GPUとRDUデコードを組み合わせてプレミアム推論向けに構築されていると述べました。同社は70%の課金可能稼働率の計画仮定で6ヶ月でのROIを挙げました。