DeepLearning.AI は The Batch の最新号で DeepSeek のアーキテクチャを分析し、トークンあたりのキャッシュが 890 バイトと DeepSeek-V1 より 437 倍削減されたと報告した。また、入力が 4K から 1M トークンに拡大すると出力トークンあたりの計算量が 25% 増加する点や、AA Index で Flash が V4-Pro を上回った点も指摘している。
Arena.ai は Agent Arena 上の4,700回を超えるエージェントセッションを通じて typesafeai の Jev Router を評価した。現在のパレート境界を更新することはなかったものの、ユーザーフィードバックに応じた強力な制御性を示したことが判明した。
Hamed Nilforoshan氏がHiringCafeでOpenAI Decisions APIとJevを評価したところ、求人検索の関連性判定においてOpenAIのAPIはコストが2倍で、性能が5%〜10%劣る結果となりました。
SWE-bench Verified上で同一モデルを用いClaude Code、mini-SWE-agent、OpenCodeを比較した研究によると、ハーネスのプロンプトとツールのスキーマを最小限に抑えることで、精度を落とさずにコストを最大3倍削減できることが分かった。
Scale Labsは、日常的な直感的視覚推論を検証するため、画像と動画にまたがる522のオープンエンドタスクで構成される評価ベンチマーク「Humanity's Sixth Sense」を公開した。
Artificial Analysis は Claude Haiku 5.5 の知能指数スコアを 43 点と評価し、前世代の Haiku から 26 点上昇したと発表した。また、100 万トークンのコンテキストウィンドウを備えるとしている。結果にはトークン消費量、ターミナルタスク、事実の正確性、そして同社が過小評価されている可能性が高いとする AutomationBench スコアも含まれる。
NVIDIAの研究論文は、ベンチマークの実行軌跡をルーブリック評価付きの9,000以上の再起動可能なサンドボックスへと変換し、モデルの重みと並行してエージェントハーネスを共進化させるシステム「VERA」を発表した。同チームは環境コーパスをオープンソース化し、27BエージェントがAutoCoWorkBenchで71.6スコアを記録してClaude Opus 4.8を上回ったと報告している。
Mistral AIはAutomationBenchの評価結果を公開した。Mistral Large 4は模擬職場アプリケーションにおける657件の業務ワークフローを完了し、Kimi K3、MiMo-V2.6-Pro、DeepSeek V4 Proを上回る結果となった。
Mistral Large 4が1,534スコアを獲得してArena.aiのCode Arena: WebDevリーダーボードで45位に入り、Claude Opus 4.8 (High)と2スコア差以内の性能を約6分の1の混合トークンコストで達成しました。
Arena.aiはGoogleの「Nano Banana 2.1」をText-to-Image、Image Edit、Multi-Image Editの各アリーナに追加した。同モデルはMulti-Image Editで4位、Text-to-Imageで5位、Image Editで6位となった。
Clineの報告によると、Mistral Large 4はサイバーセキュリティベンチマークでOpus 5.5およびGPT-6 Astraを上回った。競合モデルではタスクの約40%がセーフティフィルターによりブロックされたことが主な要因である。
GitHubは、AIコードレビューエージェントが不要なノイズを出さずに重要な問題を特定できるかを評価するオープンベンチマーク「ReviewBench」を公開した。19言語にわたる219件のプルリクエストに基づいている。
Mistral AI は、Mistral Large 4 が実環境での実行に基づくツール呼び出しを用い、Capture the Flag（CTF）スピードランで 19 問中 18 問の課題を解決したと報告した。
ApolinárioはHugging Face Spacesでjev Decision Index v0.3を公開した。公開ベンチマーク外のモデル能力を追跡するプライベート評価スプリットを含む更新版ベンチマークスイートを提供し、新たにビジョン対応を追加している。
Artificial AnalysisがMistral Large 4 Previewの評価結果を公開した。同モデルはIntelligence Indexで38、Cyber Indexで50%を記録した。Mistral AIは512kコンテキスト対応の本モデルを、入力100万トークンあたり1.36ドル、出力100万トークンあたり4.18ドルで提供しており、提供開始から最初の2週間は50%割引が適用される。
Lambdaはモデルカードを更新し、最小構成のLambdaハードウェア上でNVIDIA AIのAIPerfパッケージを用いて測定したサービングベンチマークを追加した。ユーザー並行数のしきい値に応じたデプロイの挙動を示す。
アントグループは、総パラメータ数5600億、コンテキストウィンドウ100万トークンの推論モデル「Ling 3.1 Flash」を公開しました。Artificial Analysisの知能指数v4.3でスコア41を獲得し、エージェント性能とトークン効率の改善が示されています。
Black Forest Labsは、動画モデルの物理世界理解度を測定するGoogle DeepMindのPhysics-IQベンチマークにおいて、FLUX 3がSora 2、Veo 3.1、Cosmos3などのフロンティアシステムを上回り首位を獲得したと発表した。
Artificial Analysisのベンチマークによると、OpenAI Web Searchのタスクあたり所要時間は約31秒で、テスト対象の26製品中14位となった。OpenAIは検索レイテンシを直接公開していないため、測定チームはストリームイベントを基に計測した。
Artificial Analysisは検索インデックス（Search Index）でOpenAI Web Searchを検証し、同ツールはスコア74を獲得してプロバイダー中5位、テスト対象26製品中7位となった。中程度の推論設定のGPT-5.6 Lunaで動作し、この組み込み検索ツールのタスクあたり平均コストは約0.05ドルだった。