SambaNova 於 SambaCloud 為 MiniMax M3 推出提示詞快取
SambaNova 已於 SambaCloud 為 MiniMax M3 推出提示詞快取，無需修改代碼即可將輸入成本降低 90% 至每百萬快取 Token 0.06 美元，並將首字延遲改善 35% 至 88%。
#sambanova
查看全部AI快訊SambaNova 表示 SN50 將 RDU 解碼與現有 GPU 配對，用於高階推論
SambaNova 表示 SN50 專為高階推論而設，透過將 RDU 解碼與現有 GPU 配對以進行預填充。該公司引用在 70% 可計費使用率規劃假設下，6 個月內達致 ROI。