Surge AIのブラインドコーディング評価でMistral Large 4が総合2位に
Surge AIはMistral Large 4のリリースにあたり、先端5モデルのコードレビュー品質を評価した。同モデルはオープンウェイトモデルの中で首位、総合ではOpus 5に次ぐ2位となった。
Surge AIはMistral Large 4のリリースにあたり、先端5モデルのコードレビュー品質を評価した。同モデルはオープンウェイトモデルの中で首位、総合ではOpus 5に次ぐ2位となった。
Arena.aiは、12モデルによる34,580件の判定を、1,460件のArena対戦における人間の投票と比較した。平均すると、モデルは58%の割合で自分の回答を選び、人々が同じ回答を選んだ割合は34%だった。
Patrick Wendell氏によると、Databricksが2,400人のエンジニアのオンラインワークロードを分析し、オフライン評価も行った結果、Opus 5.5とGPT-6 Lunaがコストと品質のフロンティアを広げている。Opus 5.5は同一タスクのコストをOpus 4.8比で20%削減し、Databricksはコーディングの日常的な既定モデルとして推奨している。
新しい論文は、13モデルのうち8つが、依頼内容が同一でも、富裕と推定した利用者に対し、より高額な航空券、医療保険、または大学院課程を選んだと報告している。Claude Opus 4.8では、差は航空券1件あたり198ドル、保険は月284ドルに達する。
Arena.aiによると、OpenAIのGPT-6 Sol(Max)は4,000件超の実世界エージェントセッションで純改善率+7.7%を記録し、タスクあたりの中央値コストは0.75ドルだった。Claude Fable 5(High)を0.60ポイント下回り、タスクあたりのコストは56%低い。
新しい概要ページは、新たに追加されたモデル、カテゴリー別の成績、能力に関する所見、Arenaのニュースといったライブの指標をまとめ、GPT-6 SolやClaude Opus 5.5などのモデルについてアリーナ横断のスコアを表示できる。
Arena.aiは、AnthropicのClaude Opus 5.5とOpenAIのGPT-6 Solについて並べた出力を生成したと述べ、Claude Opus 5.5のスコアは近日公開予定だとしている。
同じ /design プロンプトで、Command CodeはDeepSeek-V4.1-Flashに9/10($0.024)、Mimo-V2.6-Flashに8/10($0.018)、Grok-4.7に3/10($0.35)を付けた。
Artificial AnalysisはControlled Voice Arenaを拡張し、日本語、標準中国語、ヒンディー語、スペイン語、ドイツ語、フランス語、ポルトガル語、ベトナム語、アラビア語向けに、それぞれ独立したテキスト読み上げのリーダーボードを設けた。順位は各言語で書かれたプロンプト、標準化されたクローン音声、母語話者による選好投票に基づく。
Controlled Voice Arenaは、日本語、標準中国語、ヒンディー語、スペイン語、ドイツ語、フランス語、ポルトガル語、ベトナム語、アラビア語のテキスト読み上げモデルを順位付けするようになった。CartesiaのSonicファミリーが9つのボードのうち8つで首位に立ち、Inworld AIのRealtime TTS-2は標準中国語で1位となった。
OpenAIの2モデルはArenaで試すことができ、実世界のエージェント型タスクへの投票がリーダーボードに反映される。Arena.aiによると、petergostevは同一のプロンプトと最大推論設定でGPT-6 SolとGPT-5.6 Solも比較している。
OpenAIは、学習、評価、デプロイの各段階にわたる深いアクセスを伴う独立評価を支援すると述べ、厳格で安全かつ独立した作業のための4つの優先分野と原則を示している。