SambaNova 表示 SN50 将 RDU 解码与现有 GPU 配对用于高端推理
SambaNova 表示 SN50 专为高端推理打造，将 RDU 解码 与现有 GPU 配对用于预填充。
该公司称在 70% 可计费利用率 规划假设下，6 个月内可实现投资回报，并链接至博客 https://bit.ly/4roRVpL。
相关AI快讯
SambaNova 在 SambaCloud 上为 MiniMax M3 推出提示词缓存
SambaNova 已在 SambaCloud 上为 MiniMax M3 推出提示词缓存，无需修改代码即可将输入成本降低 90% 至每百万缓存 Token 0.06 美元，并将首字延迟改善 35% 至 88%。
Pedro Cuenca 通过 llama.cpp 在 RTX 6000 与 M5 笔记本上跨硬件运行 MiMo 2.6 Flash
Pedro Cuenca 展示了在 RTX 6000 GPU 与 M5 笔记本之间通过 10 GbE 网络跨硬件运行 MiMo 2.6 Flash 原生 mxfp4 权重，利用 llama.cpp 的开箱即用支持，推理速度达到每秒 40 个 token。
Prime Intellect 推出 Prime Inference
Prime Intellect 推出 Prime Inference，并表示该服务已为强化学习及客户专属部署处理了数万亿 token。
Jiantao Jiao 发布 SWE-Serve，一项包含 53 项任务的 NVIDIA 基准
Jiantao Jiao 表示，NVIDIA 团队构建了 SWE-Serve，用以测试 AI 智能体能否开发推理引擎并服务真实模型。该基准包含 53 项任务，取自 sgl_project 的真实工程工作。