jev Decision Index v0.3 引入私有评估集并新增视觉支持
Apolinário 在 Hugging Face Spaces 上发布了 jev Decision Index v0.3。此次更新引入了经修订的基准测试套件，包含旨在公开基准之外跟踪模型能力的私有评估拆分集。
v0.3 版本还新增了对视觉能力的评估覆盖。
相关AI快讯
DeepLearning.AI 在 The Batch 中详解 DeepSeek 缓存缩减与 Flash 基准测试表现
DeepLearning.AI 在最新一期 The Batch 中分析了 DeepSeek 的架构，指出其每个 token 的缓存降至 890 字节，较 DeepSeek-V1 缩小了 437 倍。分析还提到，当输入从 4K 扩展至 1M token 时，每个输出 token 的计算量增加了 25%，并指出 Flash 在 AA Index 基准测试中得分超过 V4-Pro。
Arena.ai 在 Agent Arena 上基于逾 4,700 次智能体测试评估 Jev Router
Arena.ai 在 Agent Arena 上针对 typesafeai 开发的 Jev Router 开展了逾 4,700 次智能体测试。结果显示，虽然该路由模型未能突破现有帕累托前沿，但在响应用户反馈方面展现出了强大的可控性。
Hamed Nilforoshan 对比测试 OpenAI Decisions API 与 Jev 在 HiringCafe 上的表现
Hamed Nilforoshan 在 HiringCafe 上对比评估了 OpenAI Decisions API 与 Jev。结果显示，在评估职位查询相关性方面，OpenAI 的 API 成本高出一倍，表现落后 5% 至 10%。
研究发现精简 Agent 框架提示词与工具最多可降低 3 倍成本
一项在 SWE-bench Verified 上使用相同模型对比 Claude Code、mini-SWE-agent 与 OpenCode 的研究发现，精简框架提示词和工具定义可在不降低准确率的前提下，将成本最高降低 3 倍。
Scale Labs 推出视觉推理基准 Humanity's Sixth Sense
Scale Labs 推出评估基准 Humanity's Sixth Sense，包含涵盖图像与视频的 522 项开放式任务，用于测试日常直觉视觉推理能力。