jev Decision Index v0.3 引入私有評估集並新增視覺支援
Apolinário 於 Hugging Face Spaces 發布了 jev Decision Index v0.3。此更新引入了經修訂的基準測試套件，包含旨在公開基準之外追蹤模型能力的私有評估拆分集。
v0.3 版本亦新增了針對視覺能力的評估覆蓋。
相關AI快訊
DeepLearning.AI 於 The Batch 詳解 DeepSeek 快取縮減與 Flash 基準測試表現
DeepLearning.AI 於最新一期 The Batch 分析了 DeepSeek 的架構，指出其每個 token 的快取縮減至 890 位元組，比 DeepSeek-V1 縮小了 437 倍。分析亦指出，當輸入從 4K 擴展至 1M token 時，每個輸出 token 的運算量增加了 25%，並指出 Flash 於 AA Index 基準測試的得分超越 V4-Pro。
Arena.ai 於 Agent Arena 透過逾 4,700 場 Agent 會話評估 Jev Router
Arena.ai 於 Agent Arena 針對 typesafeai 開發的 Jev Router 進行了逾 4,700 場 Agent 會話評估，發現雖然該路由器未有突破現有的柏拉圖前沿，但在響應使用者反饋方面展現出出色的可引導性。
Hamed Nilforoshan 為 HiringCafe 基準測試 OpenAI Decisions API 與 Jev
Hamed Nilforoshan 於 HiringCafe 評估 OpenAI Decisions API 與 Jev 的表現，結果顯示 OpenAI 的 API 成本高出一倍，在職位查詢相關性排序上落後 5% 至 10%。
研究發現精簡 Agent 框架提示詞與工具最多可降低 3 倍成本
一項在 SWE-bench Verified 上使用相同模型對比 Claude Code、mini-SWE-agent 與 OpenCode 的研究發現，精簡框架提示詞和工具定義可在不降低準確率的前提下，將成本最高降低 3 倍。
Scale Labs 推出視覺推理基準 Humanity's Sixth Sense
Scale Labs 推出評估基準 Humanity's Sixth Sense，包含涵蓋圖像與影片的 522 項開放式任務，以測試日常直覺視覺推理能力。