jev Decision Index v0.3が公開、プライベート評価スプリットとビジョン対応を追加
ApolinárioはHugging Face Spacesでjev Decision Index v0.3を公開した。今回のアップデートでは刷新されたベンチマークスイートが導入され、公開ベンチマークにとどまらないモデル能力を追跡するためのプライベート評価スプリットが含まれている。
v0.3リリースでは、ビジョン能力に対する評価範囲も追加された。
関連AIニュース
DeepLearning.AI、The Batch で DeepSeek のキャッシュ削減と Flash のベンチマーク結果を詳述
DeepLearning.AI は The Batch の最新号で DeepSeek のアーキテクチャを分析し、トークンあたりのキャッシュが 890 バイトと DeepSeek-V1 より 437 倍削減されたと報告した。また、入力が 4K から 1M トークンに拡大すると出力トークンあたりの計算量が 25% 増加する点や、AA Index で Flash が V4-Pro を上回った点も指摘している。
Arena.ai、Agent Arena 上で4,700回以上のエージェントセッションを通じ Jev Router を評価
Arena.ai は Agent Arena 上の4,700回を超えるエージェントセッションを通じて typesafeai の Jev Router を評価した。現在のパレート境界を更新することはなかったものの、ユーザーフィードバックに応じた強力な制御性を示したことが判明した。
Hamed Nilforoshan氏、HiringCafe向けにOpenAI Decisions APIとJevをベンチマーク比較
Hamed Nilforoshan氏がHiringCafeでOpenAI Decisions APIとJevを評価したところ、求人検索の関連性判定においてOpenAIのAPIはコストが2倍で、性能が5%〜10%劣る結果となりました。
エージェントハーネスのプロンプトとツール簡素化でコストを最大3倍削減、研究で判明
SWE-bench Verified上で同一モデルを用いClaude Code、mini-SWE-agent、OpenCodeを比較した研究によると、ハーネスのプロンプトとツールのスキーマを最小限に抑えることで、精度を落とさずにコストを最大3倍削減できることが分かった。
Scale Labs、視覚的推論ベンチマーク「Humanity's Sixth Sense」を発表
Scale Labsは、日常的な直感的視覚推論を検証するため、画像と動画にまたがる522のオープンエンドタスクで構成される評価ベンチマーク「Humanity's Sixth Sense」を公開した。