SambaNova 在 SambaCloud 上为 MiniMax M3 推出提示词缓存
SambaNova 已在 SambaCloud 上为 MiniMax M3 推出提示词缓存，无需修改代码即可将输入成本降低 90% 至每百万缓存 Token 0.06 美元，并将首字延迟改善 35% 至 88%。
#sambanova
查看全部AI快讯SambaNova 表示 SN50 将 RDU 解码与现有 GPU 配对用于高端推理
SambaNova 表示 SN50 专为高端推理打造，通过将 RDU 解码与现有 GPU 配对用于预填充。该公司称在 70% 可计费利用率规划假设下，6 个月内可实现投资回报。