Pedro Cuenca 通过 llama.cpp 在 RTX 6000 与 M5 笔记本上跨硬件运行 MiMo 2.6 Flash
Pedro Cuenca 展示了在异构硬件上运行 MiMo 2.6 Flash：通过 10 GbE 网络连接一块 RTX 6000 GPU 与一台 M5 笔记本，该配置实现了每秒 40 个 token 的推理速度。
该运行直接使用了模型的原生 mxfp4 权重，并获得了 llama.cpp 的开箱即用支持。
相关AI快讯
Pedro Cuenca：tokenizers v1（Rust）快 3 到 30 倍，即将登陆 transformers
Pedro Cuenca 表示 tokenizers v1（Rust）快 3 到 30 倍，具备可选退出的 tokenization 训练 crate、额外优化以及详尽的基准测试。他表示即将登陆 transformers。
Prime Intellect 推出 Prime Inference
Prime Intellect 推出 Prime Inference，并表示该服务已为强化学习及客户专属部署处理了数万亿 token。
Jiantao Jiao 发布 SWE-Serve，一项包含 53 项任务的 NVIDIA 基准
Jiantao Jiao 表示，NVIDIA 团队构建了 SWE-Serve，用以测试 AI 智能体能否开发推理引擎并服务真实模型。该基准包含 53 项任务，取自 sgl_project 的真实工程工作。
SambaNova 表示 SN50 将 RDU 解码与现有 GPU 配对用于高端推理
SambaNova 表示 SN50 专为高端推理打造，通过将 RDU 解码与现有 GPU 配对用于预填充。该公司称在 70% 可计费利用率规划假设下，6 个月内可实现投资回报。