#benchmarks

PAIR 框架針對長流程智能體上下文壓縮失效問題展開優化

一項研究提出 PAIR 方法，透過在完全相同的狀態下進行反事實重放，精確定位有害的上下文壓縮事件並重寫壓縮提示詞。

Arena.ai 公布 Agent Arena 榜單，涵蓋代碼、工作與對話三大領域

Anthropic 旗下模型包辦全部三大領域榜首：Claude Fable 5.1 (Max) 於代碼與工作領域位列第一，Claude Sonnet 5.5 (Max) 領跑對話領域。OpenAI 的 GPT 6 Astra (Max) 於所有分類中均位列前四。

Cohere 以模型創建後發布的 WMT26 評測 North Small Translate

Cohere 表示，用於 North Small Translate 的 WMT26 基準測試是在模型創建之後發布的，因此無法針對這些測定結果訓練該模型。

OpenRouter 推出模型路由器基準測試，涵蓋七款路由器

OpenRouter 發布了模型路由器基準測試（Model Router Benchmarks），在質素、速度與成本三個維度，透過六項基準測試橫向對比七款模型路由器，涵蓋 Jev Router、Unbiased Pareto 與 NVIDIA Switchyard 等。

Artificial Analysis 開源面向手提電腦與工作站推理的 AA-AgentPerf-Local

Artificial Analysis 已開源 AA-AgentPerf-Local。該工具透過重放已記錄的智能體會話來量度本地推理速度，並公布四套系統的初步 4-bit 結果。在能裝入 32 GB 的模型上，GeForce RTX 5090 的完成速度比其他受測系統快 3.5 倍以上。

Diogo Almeida 表示，evals.typesafe.ai 的數據集將更易於使用

Diogo Almeida 表示，隨 evals.typesafe.ai 發佈的數據集正被調整得更易於使用。他亦表示，團隊會棄用其用於評測的每一個數據集，無論評測是內部還是公開。

Sonnet 5.5 在 Ibragim 的 my-mini-bench 上與 Opus 5.5 High 成績相同，耗時和成本更低

在 Ibragim 的 my-mini-bench 中、於 pi 環境下，Sonnet 5.5 與 Opus 5.5 High 均通過 30 次運行中的 30 次。Sonnet 5.5 每項任務耗時 46 秒、花費 0.10 美元，Opus 5.5 High 則為 103 秒、0.30 美元。

Artificial Analysis 給 Claude Sonnet 5.5 打出 56 分，比 Opus 5.5 低 2 分

Artificial Analysis 稱，Claude Sonnet 5.5 在最高力度下的 Intelligence Index 得分為 56，比 Claude Opus 5.5（最高力度）低 2 分，同時使用了其測得的最高輸出 token 數量，每項任務成本約 7.60 美元。

Eleven v4領跑Artificial Analysis的Provider Voice與發音測試

Artificial Analysis表示，ElevenLabs的文字轉語音模型Eleven v4支援超過90種語言，在其Provider Voice競技場和Pronunciation Robustness基準測試中排名第一，在Controlled Voice中排名第二。

Artificial Analysis 推出面向企業 AI 防禦的 Cyber Index

Artificial Analysis 推出 Cyber Index 及 Cyber Index Alliance，合作方為 CollinearAI、IBM、NVIDIA 與 Vercel。該指數整合三項開放基準，評估 AI 智能體發現並修復漏洞的能力；Grok 4.7（xhigh）與 MiMo-V2.6-Pro 以 56 分領先。

論文用一次 Jev 是/否評分標記對齊失敗

一篇論文報告，TypeSafe AI 的 Jev 無需額外訓練，就能以 0.886 的中位 AUROC 把對齊失敗與良好回應區分開。在 19 項基準上，一次 Jev 評估成本為 0.30 美元，而這些基準所用的 LLM 評判成本為 18.96 美元。

Theo 的 1,000 美元 DeepSWE 測試顯示，Jev Router 接近 GPT-6 Astra 的 low 檔

Theo 表示，他以 1,000 美元對 Jev Router 進行的 DeepSWE 基準測試，表現大致與 GPT-6 Astra 的 low 檔相當，成本略高，耗時近乎 5 倍。

Pixel Canary 隱身模型現可在 Cline 免費使用

Cline 表示，Pixel Canary 隱身模型已經發布，並可在 Cline 免費使用。Cline 表示，在 Next.js Agent Evals 上，它與 GPT-6 Astra 打成平手，並勝過 Kimi K3。

BRIDGE ASR 2.0 測試 23 個語音識別模型處理長篇多語對話

elvis 表示，humynlabs 建立 BRIDGE ASR 2.0，用以評估語音識別在真實雙人對話上的表現。對話長 10 至 15 分鐘，涵蓋 18 種印度語系語言，以及西班牙語、葡萄牙語和越南語。

微軟論文報告 CASD 提示詞優化平均提升 16.6 分

CASD 讓現成的編程智能體分析完整的智能體日誌，並把發現寫成單一提示詞中的規則，無需環境存取或驗證數據。DAIR.AI 表示，在所報告的基準測試中，一次處理的表現優於 GEPA 與 SkillOpt，每個優化後的提示詞成本約 1.60 美元。

最佳 Taste-Bench 模型有 59.7% 時間選出較佳方向

微軟與合作者的論文指出，在長程工程與研究任務中選擇較佳的開放方向時，最佳模型答對 59.7% 的 Taste-Bench 問題。由較後證據決定的分岔難度高得多，加大推理預算不會提高準確率；把教師對結果的判斷蒸餾到學生模型，則能提升在留出的 SWE-bench Pro 上的成功率。

Cline 免費提供 Gemini 3.8 Flash

Gemini 3.8 Flash 在 Cline 可免費使用。Cline 表示，該模型在 Artificial Analysis Intelligence Index 得分 41，運行速度為每秒 291 個 token，上下文視窗為 100 萬個 token。

Claude Opus 5.5 在 Artificial Analysis Coding Agent Index 取得 66 分

在 Claude Code 以 max effort 運行時，Artificial Analysis 測得 Opus 5.5 為 66 分，高於 Opus 5 的 60 分及 Claude Fable 5.1 的 62 分。其每項任務成本為 13.04 美元，儘管 token 價格較低，仍高於 Opus 5 的 10.79 美元。

Artificial Analysis 報告其 Intelligence Index 成本前沿新增 11 點

MiMo-V2.6-Pro、Claude Opus 5.5、GPT-6 Luna 與 GPT-6 Sol，在不同推理力度下，合共為 Artificial Analysis 的 Intelligence Index 對每項任務成本 Pareto 前沿貢獻 11 個新點。Claude Opus 5.5（max with fallback）得分 58，每項任務成本 5.98 美元，是該指數的最高結果。

Microsoft AI 表示圖像 Elo 在九個月內由 864 升至 1147

Microsoft AI 把這個速度定為每年 377 分，即榜上第二快升幅的 1.6 倍。