Diogo Almeida 表示，evals.typesafe.ai 的数据集将更便于使用
Diogo Almeida 表示，上线近两周后，应相关请求，随 evals.typesafe.ai 发布的数据集正被调整得更便于使用。
他说，这项改动出于开放的考虑，但他仍然反对公开基准测试。据此，团队会弃用其用于评测的每一个数据集，无论评测是内部的还是公开的。
相关AI快讯
论文用一次 Jev 是/否评分标记对齐失败
一篇论文报告，TypeSafe AI 的 Jev 无需额外训练，就能以 0.886 的中位 AUROC 把对齐失败与良好回答区分开。在 19 项基准上，一次 Jev 评估成本为 0.30 美元，而这些基准所用的 LLM 评判成本为 18.96 美元。
DeepLearning.AI 在 The Batch 中详解 DeepSeek 缓存缩减与 Flash 基准测试表现
DeepLearning.AI 在最新一期 The Batch 中分析了 DeepSeek 的架构，指出其每个 token 的缓存降至 890 字节，较 DeepSeek-V1 缩小了 437 倍。分析还提到，当输入从 4K 扩展至 1M token 时，每个输出 token 的计算量增加了 25%，并指出 Flash 在 AA Index 基准测试中得分超过 V4-Pro。
Arena.ai 在 Agent Arena 上基于逾 4,700 次智能体测试评估 Jev Router
Arena.ai 在 Agent Arena 上针对 typesafeai 开发的 Jev Router 开展了逾 4,700 次智能体测试。结果显示，虽然该路由模型未能突破现有帕累托前沿，但在响应用户反馈方面展现出了强大的可控性。
Hamed Nilforoshan 对比测试 OpenAI Decisions API 与 Jev 在 HiringCafe 上的表现
Hamed Nilforoshan 在 HiringCafe 上对比评估了 OpenAI Decisions API 与 Jev。结果显示，在评估职位查询相关性方面，OpenAI 的 API 成本高出一倍，表现落后 5% 至 10%。
研究发现精简 Agent 框架提示词与工具最多可降低 3 倍成本
一项在 SWE-bench Verified 上使用相同模型对比 Claude Code、mini-SWE-agent 与 OpenCode 的研究发现，精简框架提示词和工具定义可在不降低准确率的前提下，将成本最高降低 3 倍。