Artificial AnalysisがAA-Music v1.1ベンチマークを公開、Suno v6が首位を獲得
Artificial AnalysisはMusic Arena向けに「AA-Music-Vocal v1.1」と「AA-Music-Instrumental v1.1」を公開した。17ジャンルにわたる1,000件の新規プロンプトを用いてモデルを評価しており、両リーダーボードでSuno v6が1位、Suno v6-miniが2位となった。
#ai-benchmarks
すべてのAIニュースを見るClaude Haiku 5.5がArena.aiのAgent ArenaおよびCode Arenaで利用可能に
Arena.aiはAnthropicのClaude Haiku 5.5をAgent ArenaおよびCode Arena（WebDev、Text、Document、Vision）に追加した。ベンチマーク評価スコアは近日公開予定。
Mistral Large 4 が Arena.ai の Agent Arena および Code Arena で提供開始
Arena.ai は、Mistral AI の Mistral Large 4 を Agent Arena でのユーザーテスト向けに追加し、WebDev、Text、Vision にわたる Code Arena でも提供を開始した。本モデルは総パラメータ数1兆、アクティブパラメータ数490億で、評価スコアは近日中に公開される予定。
Artificial Analysis、Cyber Indexを3つのベンチマークの平均とし安全上の拒否を0点に
Artificial Analysisによると、Cyber IndexはCWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AAの平均である。モデルが安全上の理由で拒否したタスクは0点となり、他の失敗とは別に報告される。