SambaNova 表示 SN50 將 RDU 解碼與現有 GPU 配對，用於高階推論
SambaNova 表示 SN50 專為高階推論而設，將 RDU 解碼 與現有 GPU 配對以進行預填充。
該公司引用在 70% 可計費使用率 規劃假設下 6 個月內達致 ROI，並連結至網誌 https://bit.ly/4roRVpL。
相關AI快訊
SambaNova 於 SambaCloud 為 MiniMax M3 推出提示詞快取
SambaNova 已於 SambaCloud 為 MiniMax M3 推出提示詞快取，無需修改代碼即可將輸入成本降低 90% 至每百萬快取 Token 0.06 美元，並將首字延遲改善 35% 至 88%。
Pedro Cuenca 透過 llama.cpp 於 RTX 6000 與 M5 手提電腦跨硬件運行 MiMo 2.6 Flash
Pedro Cuenca 展示在 RTX 6000 GPU 與 M5 手提電腦之間經由 10 GbE 網絡跨硬件運行 MiMo 2.6 Flash 原生 mxfp4 權重，利用 llama.cpp 的開箱即用支援，推理速度達每秒 40 個 token。
Prime Intellect 推出 Prime Inference
Prime Intellect 推出 Prime Inference，並表示該服務已為強化學習及專屬客戶部署處理了數萬億 token。
Jiantao Jiao 公布 SWE-Serve，一項含 53 項任務的 NVIDIA 基準測試
Jiantao Jiao 表示，NVIDIA 團隊建立了 SWE-Serve，用以測試 AI 代理能否開發推理引擎，並讓其服務真實模型。該基準測試包含 53 項任務，取材自 sgl_project 的實際工程工作。