#benchmarks

PAIR 框架针对长流程智能体上下文压缩失效问题展开优化

一项研究提出 PAIR 方法，通过在完全相同的状态下反事实重放智能体，精准定位有害的上下文压缩事件并重写压缩提示词。

Arena.ai 公布 Agent Arena 榜单，涵盖代码、工作与对话三大领域

Anthropic 旗下模型领跑全部三大领域：Claude Fable 5.1 (Max) 位列代码与工作领域第一，Claude Sonnet 5.5 (Max) 领跑对话领域。OpenAI 的 GPT 6 Astra (Max) 在所有分类中均位列前四。

Cohere 以模型创建后发布的 WMT26 评测 North Small Translate

Cohere 表示，用于 North Small Translate 的 WMT26 基准测试是在模型创建之后发布的，因此无法针对这些测定结果训练该模型。

OpenRouter 推出模型路由器基准测试，涵盖七款路由器

OpenRouter 发布了模型路由器基准测试（Model Router Benchmarks），在质量、速度与成本三个维度，通过六项基准测试横向对比七款模型路由器，涵盖 Jev Router、Unbiased Pareto 与 NVIDIA Switchyard 等。

Artificial Analysis 开源面向笔记本与工作站推理的 AA-AgentPerf-Local

Artificial Analysis 已开源 AA-AgentPerf-Local。该工具通过重放已记录的智能体会话来测量本地推理速度，并公布了四套系统的初步 4-bit 结果。在能装入 32 GB 的模型上，GeForce RTX 5090 的完成速度比其他受测系统快 3.5 倍以上。

Diogo Almeida 表示，evals.typesafe.ai 的数据集将更便于使用

Diogo Almeida 表示，随 evals.typesafe.ai 发布的数据集正被调整得更便于使用。他还表示，团队会弃用其用于评测的每一个数据集，无论评测是内部的还是公开的。

Sonnet 5.5 在 Ibragim 的 my-mini-bench 上与 Opus 5.5 High 成绩相同，耗时和成本更低

在 Ibragim 的 my-mini-bench 中、于 pi 环境下，Sonnet 5.5 与 Opus 5.5 High 均通过 30 次运行中的 30 次。Sonnet 5.5 每项任务耗时 46 秒、花费 0.10 美元，Opus 5.5 High 则为 103 秒、0.30 美元。

Artificial Analysis 给 Claude Sonnet 5.5 打出 56 分，比 Opus 5.5 低 2 分

Artificial Analysis 称，Claude Sonnet 5.5 在最高力度下的 Intelligence Index 得分为 56，比 Claude Opus 5.5（最高力度）低 2 分，同时使用了其测得的最高输出 token 数量，每项任务成本约 7.60 美元。

Eleven v4领跑Artificial Analysis的Provider Voice与发音测试

Artificial Analysis表示，ElevenLabs的文本转语音模型Eleven v4支持90多种语言，在其Provider Voice竞技场和Pronunciation Robustness基准测试中排名第一，在Controlled Voice中排名第二。

Artificial Analysis 推出面向企业 AI 防御的 Cyber Index

Artificial Analysis 推出 Cyber Index 及 Cyber Index Alliance，合作方为 CollinearAI、IBM、NVIDIA 与 Vercel。该指数整合三项开放基准，评估 AI 智能体发现并修复漏洞的能力；Grok 4.7（xhigh）与 MiMo-V2.6-Pro 以 56 分领先。

论文用一次 Jev 是/否评分标记对齐失败

一篇论文报告，TypeSafe AI 的 Jev 无需额外训练，就能以 0.886 的中位 AUROC 把对齐失败与良好回答区分开。在 19 项基准上，一次 Jev 评估成本为 0.30 美元，而这些基准所用的 LLM 评判成本为 18.96 美元。

Theo 的 1000 美元 DeepSWE 测试显示，Jev Router 接近 GPT-6 Astra 的 low 档

Theo 表示，他用 1000 美元对 Jev Router 做的 DeepSWE 基准测试，表现大致与 GPT-6 Astra 的 low 档相当，成本略高，耗时将近 5 倍。

Pixel Canary 隐身模型可在 Cline 免费使用

Cline 称，Pixel Canary 隐身模型已经发布，并可在 Cline 中免费使用。Cline 还称，在 Next.js Agent Evals 上，该模型与 GPT-6 Astra 并列，并超过 Kimi K3。

BRIDGE ASR 2.0 测试 23 个语音识别模型在长篇多语言对话中的表现

elvis 表示，humynlabs 构建了 BRIDGE ASR 2.0，用于评估语音识别在真实双人对话中的表现。这些对话时长为 10 至 15 分钟，涵盖 18 种印度语言，以及西班牙语、葡萄牙语和越南语。

微软论文称 CASD 提示优化平均提升 16.6 分

CASD 让现成的编程智能体分析完整的智能体日志集，并把发现写成一条提示中的规则，无需环境访问或验证数据。DAIR.AI 称，单次运行在所报告的基准上超过 GEPA 和 SkillOpt，每条优化后的提示成本约 1.60 美元。

Taste-Bench 最佳模型选出更优方向的比例为 59.7%

微软及合作者的一篇论文报告，在长周期工程与研究任务中选择更优开放方向时，最佳模型正确回答 59.7% 的 Taste-Bench 问题。由后续证据决定的分叉难度高得多，增加推理预算并不能提高准确率，而将教师模型对结果的判断蒸馏到学生模型后，可提高留出集 SWE-bench Pro 任务的成功率。

Cline 免费提供 Gemini 3.8 Flash

Gemini 3.8 Flash 在 Cline 中免费使用。Cline 称其在 Artificial Analysis Intelligence Index 上得分为 41，运行速度为每秒 291 token，上下文窗口为 100 万 token。

Claude Opus 5.5 在 Artificial Analysis Coding Agent Index 上得分为 66

在 Claude Code 的最高努力档，Artificial Analysis 测得 Opus 5.5 为 66 分，高于 Opus 5 的 60 分和 Claude Fable 5.1 的 62 分。其单任务成本为 13.04 美元，尽管 token 价格更低，仍高于 Opus 5 的 10.79 美元。

Artificial Analysis 报告其 Intelligence Index 成本前沿新增 11 个点

MiMo-V2.6-Pro、Claude Opus 5.5、GPT-6 Luna 和 GPT-6 Sol 在不同推理强度下，为 Artificial Analysis 的 Intelligence Index 与单任务成本帕累托前沿贡献了 11 个新点。Claude Opus 5.5（max with fallback）得分为 58，单任务成本 5.98 美元，是该指数上的最高结果。

Microsoft AI 称图像 Elo 在九个月内从 864 升至 1147

Microsoft AI 称这一速度为每年 377 分，相当于榜上第二快升幅的 1.6 倍。