#benchmarks

研究論文で発表されたPAIRは、同一状態からエージェントを反事実的に再生することで、有害なコンテキスト圧縮イベントを特定し、圧縮プロンプトを書き直す手法。

Arena.ai、Code・Work・Chat分野のAgent Arenaランキングを公開

Anthropicのモデルが3分野すべてで首位を獲得し、Claude Fable 5.1 (Max) がCodeとWorkで1位、Claude Sonnet 5.5 (Max) がChatで1位となった。OpenAIのGPT 6 Astra (Max) は全分野で上位4位以内に入った。

Cohere、モデル作成後に公開されたWMT26でNorth Small Translateをベンチマーク

Cohereは、North Small Translateに用いたWMT26ベンチマークはモデル作成後に公開されたため、同モデルをそれらの測定値に合わせて学習させることはできなかったとしている。

OpenRouter、7つのルーターを対象としたモデルルーターベンチマークを公開

OpenRouterは、品質、速度、コストの3つの観点から6つのベンチマークを用いて7つのモデルルーターを直接比較する「Model Router Benchmarks」を公開しました。Jev Router、Unbiased Pareto、NVIDIA Switchyardなどのルーターを網羅しています。

Artificial Analysis、ノートPCとワークステーション向け推論テスト AA-AgentPerf-Local をオープンソース化

Artificial Analysis は、記録済みのエージェントセッションを再生してローカル推論速度を測る AA-AgentPerf-Local をオープンソース化し、4つのシステムについて初期の 4-bit 結果を公開した。32 GB に収まるモデルでは、GeForce RTX 5090 が他のテスト対象システムより 3.5 倍超速く完了した。

Diogo Almeida 氏、evals.typesafe.ai のデータセットをより使いやすくすると述べる

Diogo Almeida 氏は、evals.typesafe.ai とともに公開されたデータセットをより扱いやすくしていると述べている。同氏はまた、チームは評価に使うすべてのデータセットを、内部評価か公開評価かを問わず非推奨にすると述べている。

Sonnet 5.5、Ibragim の my-mini-bench で Opus 5.5 High と同等、時間とコストはより低い

Ibragim の my-mini-bench の pi では、Sonnet 5.5 と Opus 5.5 High がいずれも 30 回中 30 回を通過した。Sonnet 5.5 はタスクあたり 46 秒、0.10 ドルで、Opus 5.5 High は 103 秒、0.30 ドルだった。

Artificial Analysis、Claude Sonnet 5.5を56点と評価、Opus 5.5より2点下回る

Artificial Analysisによると、Claude Sonnet 5.5は最大effortのIntelligence Indexで56点を記録し、Claude Opus 5.5（最大）を2点下回った。同社が測定した中で最も多い出力トークン数を使い、1タスクあたりのコストは約7.60ドルだった。

Eleven v4、Artificial AnalysisのProvider Voiceと発音テストで首位

Artificial Analysisによると、90以上の言語に対応するElevenLabsの音声合成モデルEleven v4は、同社のProvider VoiceアリーナとPronunciation Robustnessベンチマークで1位、Controlled Voiceでは2位となった。

Artificial Analysis、企業向けAI防御のCyber Indexを公開

Artificial Analysisは、CollinearAI、IBM、NVIDIA、VercelとともにCyber IndexとCyber Index Allianceを公開した。同指数は、AIエージェントが脆弱性を発見し修正する能力を評価する3つのオープンベンチマークを組み合わせ、Grok 4.7（xhigh）とMiMo-V2.6-Proが56点で首位に立つ。

論文、Jevの1回のyes/noスコアでアライメント失敗を検出

論文は、TypeSafe AIのJevが追加学習なしで、アライメント失敗と良好な応答を中央値AUROC 0.886で区別したと報告している。19のベンチマークでは、Jevの1回の判定コストは0.30ドルで、各ベンチマークが使うLLM判定者の18.96ドルと比べて低かった。

Theo の 1,000 ドル DeepSWE テスト、Jev Router は low の GPT-6 Astra に近い

Theo によると、Jev Router を対象にした 1,000 ドル規模の DeepSWE ベンチマークは、low 設定の GPT-6 Astra とほぼ同程度の性能だった一方、費用はわずかに高く、所要時間はほぼ 5 倍だった。

Pixel CanaryのステルスモデルがClineで無料提供

Clineによると、ステルスモデルのPixel Canaryが公開され、Clineで無料で利用できる。Next.js Agent Evalsでは、ClineによるとGPT-6 Astraと同点で、Kimi K3を上回った。

BRIDGE ASR 2.0、10〜15分の多言語会話で23の音声認識モデルを検証

elvisによると、humynlabsは、10〜15分の実際の二者会話における音声認識を評価するためBRIDGE ASR 2.0を構築した。対象はインド系18言語にスペイン語、ポルトガル語、ベトナム語を加えた言語だ。

Microsoftの論文、CASDのプロンプト最適化で平均16.6ポイント向上を報告

CASDは、既製のコーディングエージェントにエージェントログ一式を分析させ、知見を1つのプロンプト内のルールとして記述させる。環境へのアクセスも検証データも不要だ。DAIR.AIによると、1回の実行は報告されたベンチマークでGEPAとSkillOptを上回り、最適化済みプロンプト1件あたりの費用は約1.60ドルだった。

Taste-Benchで最高のモデルは、より良い方向を59.7%の割合で選ぶ

Microsoftらの論文によると、長期のエンジニアリングと研究タスクで、開いている方向のうちより良いものを選ぶTaste-Benchの設問に、最高のモデルは59.7%正解した。後から現れる証拠で決まる分岐ははるかに難しく、推論予算を増やしても精度は上がらない。教師の結果判断を蒸留すると、未使用のSWE-bench Proでの成功率は向上した。

ClineがGemini 3.8 Flashを無料提供

Gemini 3.8 FlashがClineで無料になる。Clineによると、Artificial Analysis Intelligence Indexのスコアは41、処理速度は毎秒291トークン、コンテキストウィンドウは100万トークン。

Claude Opus 5.5、Artificial Analysis Coding Agent Indexで66を記録

Claude Codeの最大努力設定で、Artificial AnalysisはOpus 5.5を66と測定した。Opus 5の60、Claude Fable 5.1の62を上回る。タスクあたりの費用は13.04ドルで、トークン単価は下がったものの、Opus 5の10.79ドルより高い。

Artificial Analysis、Intelligence Indexのコストフロンティアに新たに11点を報告

MiMo-V2.6-Pro、Claude Opus 5.5、GPT-6 Luna、GPT-6 Solは、異なる推論エフォートにわたって、Artificial AnalysisのIntelligence Indexとタスクあたりコストのパレートフロンティア上に新たに11点を占めている。Claude Opus 5.5（max with fallback）はタスクあたり5.98ドルで58点を記録し、同指数で最高の結果となった。

Microsoft AI、画像のEloは9カ月で864から1147に上昇したと発表

Microsoft AIはこのペースを年377ポイント、ボード上で次に速い上昇の1.6倍としている。