Pedro Cuenca 透過 llama.cpp 於 RTX 6000 與 M5 手提電腦跨硬件運行 MiMo 2.6 Flash
Pedro Cuenca 展示在 RTX 6000 GPU 與 M5 手提電腦之間經由 10 GbE 網絡跨硬件運行 MiMo 2.6 Flash 原生 mxfp4 權重，利用 llama.cpp 的開箱即用支援，推理速度達每秒 40 個 token。
#inference
查看全部AI快訊Prime Intellect 推出 Prime Inference
Prime Intellect 推出 Prime Inference，並表示該服務已為強化學習及專屬客戶部署處理了數萬億 token。
Jiantao Jiao 公布 SWE-Serve，一項含 53 項任務的 NVIDIA 基準測試
Jiantao Jiao 表示，NVIDIA 團隊建立了 SWE-Serve，用以測試 AI 代理能否開發推理引擎，並讓其服務真實模型。該基準測試包含 53 項任務，取材自 sgl_project 的實際工程工作。
SambaNova 表示 SN50 將 RDU 解碼與現有 GPU 配對，用於高階推論
SambaNova 表示 SN50 專為高階推論而設，透過將 RDU 解碼與現有 GPU 配對以進行預填充。該公司引用在 70% 可計費使用率規劃假設下，6 個月內達致 ROI。