Arena.ai、Agent Arena 上で4,700回以上のエージェントセッションを通じ Jev Router を評価
Arena.ai は Agent Arena 上の4,700回を超えるエージェントセッションを通じて typesafeai の Jev Router を評価した。現在のパレート境界を更新することはなかったものの、ユーザーフィードバックに応じた強力な制御性を示したことが判明した。
Arena.ai は Agent Arena 上の4,700回を超えるエージェントセッションを通じて typesafeai の Jev Router を評価した。現在のパレート境界を更新することはなかったものの、ユーザーフィードバックに応じた強力な制御性を示したことが判明した。
Arena.aiはAnthropicのClaude Haiku 5.5をAgent ArenaおよびCode Arena(WebDev、Text、Document、Vision)に追加した。ベンチマーク評価スコアは近日公開予定。
Mistral Large 4が1,534スコアを獲得してArena.aiのCode Arena: WebDevリーダーボードで45位に入り、Claude Opus 4.8 (High)と2スコア差以内の性能を約6分の1の混合トークンコストで達成しました。
Arena.aiはGoogleの「Nano Banana 2.1」をText-to-Image、Image Edit、Multi-Image Editの各アリーナに追加した。同モデルはMulti-Image Editで4位、Text-to-Imageで5位、Image Editで6位となった。
Arena.ai は、Mistral AI の Mistral Large 4 を Agent Arena でのユーザーテスト向けに追加し、WebDev、Text、Vision にわたる Code Arena でも提供を開始した。本モデルは総パラメータ数1兆、アクティブパラメータ数490億で、評価スコアは近日中に公開される予定。
Anthropicのモデルが3分野すべてで首位を獲得し、Claude Fable 5.1 (Max) がCodeとWorkで1位、Claude Sonnet 5.5 (Max) がChatで1位となった。OpenAIのGPT 6 Astra (Max) は全分野で上位4位以内に入った。
Arena.ai は、Anthropic の Claude Sonnet 5.5(High)を Code Arena: WebDev で4位、1,699点、混合価格は100万トークンあたり8ドルとし、Sonnet 5(High)を159点上回るとしている。
Arena.ai は現在、OpenAI の GPT-6 Luna(Max)を Agent Arena のパレートフロンティアに位置づけている。純改善は +1.59%、タスクあたりの中央値コストは 0.05 ドル。DeepSeek-V4.1-Flash より 29%、Hy4 preview より 76% 安く、スコアはそれぞれ 2.27 ポイント、2.51 ポイント下回る。
Arena.aiは、OpenAIのGPT-6 Luna(Max)が8,000件の実世界エージェントセッションで純改善+1.6%、タスクあたり中央値コスト$0.05だったと報告している。Agent Arenaのパレートフロンティアには達していない。
Melissa Pan 氏は Claude Code、Codex、Pi を比較し、AI モデルを取り巻くシステムであるハーネスは、精度よりもコストへの影響が大きいと報告している。同氏は3つの知見を挙げているが、発表で述べられているのはこの1点のみである。
Arena.ai は、AnthropicAI の Claude Sonnet 5.5 を Agent Arena と、WebDev、Text、Vision、Document 向けの Battle Mode に追加した。Claude によれば、これは Claude 5.5 の2番目のモデルで、Sonnet 5 より30%以上速く、ほとんどの作業ではコストが最大30%低い。
Arena.ai は Claude Opus 5.5(High)を Agent Arena で 2 位とし、タスクあたりの中央値コストは 1.31 ドル、純改善は +12.15% としている。Opus 5(Max)と Opus 5(High)を上回り、コストは 40~56% 低い。
Arena.aiはAnthropicのClaude Opus 5.5(High)をAgent Arenaの2位とし、純改善は+12.15%としている。上位はFable 5.1(Max)のみで、Arena.aiはタスクあたりの中央価格を1.31ドル、64%低いとしている。
Arena.aiによると、Claude Opus 5.5(High)は1,509ポイントでText Arenaをリードし、Opus 5(High)を18ポイント、2位のOpus 4.6(High)を4ポイント上回る。同社はまた、Anthropicが上位6席をすべて占め、Opus 5.5(High)は入力と出力の価格に基づく混合単価100万トークンあたり16ドルでパレートフロンティア上にあるとしている。
Arena.aiによると、OpenAIのGPT-6 Sol(Max)は4,000件超の実世界エージェントセッションで純改善率+7.7%を記録し、タスクあたりの中央値コストは0.75ドルだった。Claude Fable 5(High)を0.60ポイント下回り、タスクあたりのコストは56%低い。
Arena.aiは、4,000件超の実世界エージェントセッションでGPT-6 Sol(Max)の純改善率を+7.7%、順位を6位と報告している。GPT-5.6 Sol(xHigh)と比べると、+6.2%・8位から上昇し、トークン単価は半分だ。
Arena.aiはSpaceXAIのGrok 4.7(xHigh)をAgent Arenaで16位とし、純改善は+3.96%、タスクあたりの中央値コストは1.14ドルで、Grok 4.6(High)とGrok 4.5を上回る。
GPT-6 Luna(Max)は1,593点で、41位のGPT-5.6 Luna(xHigh)を74点上回る。Arena.aiによると、100万トークンあたりの混合価格0.40ドルでGemini 3.7 Flash HighおよびQwen 3.8-27Bと同等だという。
Arena.aiによると、Claude Opus 5.5(Max)はCode Arena WebDevのランキングで首位。ブレンド価格は100万トークンあたり16ドルで、次点のGPT-6 Astra(Max)より60%低い。スコアはArena.aiのグローバルコミュニティによる実際の利用に基づく。
Arena.aiは、Claude Opus 5.5(Max)がブレンド価格で100万トークンあたり16ドルという水準で最高性能を実現すると述べ、その価格性能点がパレートフロンティアを塗り替えると説明している。