Diogo Almeida 表示，evals.typesafe.ai 的數據集將更易於使用
Diogo Almeida 表示，上線近兩週後，應相關請求，隨 evals.typesafe.ai 發佈的數據集正被調整得更易於使用。
他說，這項改動出於開放的考慮，但他仍然反對公開基準測試。據此，團隊會棄用其用於評測的每一個數據集，無論評測是內部還是公開。
相關AI快訊
論文用一次 Jev 是/否評分標記對齊失敗
一篇論文報告，TypeSafe AI 的 Jev 無需額外訓練，就能以 0.886 的中位 AUROC 把對齊失敗與良好回應區分開。在 19 項基準上，一次 Jev 評估成本為 0.30 美元，而這些基準所用的 LLM 評判成本為 18.96 美元。
DeepLearning.AI 於 The Batch 詳解 DeepSeek 快取縮減與 Flash 基準測試表現
DeepLearning.AI 於最新一期 The Batch 分析了 DeepSeek 的架構，指出其每個 token 的快取縮減至 890 位元組，比 DeepSeek-V1 縮小了 437 倍。分析亦指出，當輸入從 4K 擴展至 1M token 時，每個輸出 token 的運算量增加了 25%，並指出 Flash 於 AA Index 基準測試的得分超越 V4-Pro。
Arena.ai 於 Agent Arena 透過逾 4,700 場 Agent 會話評估 Jev Router
Arena.ai 於 Agent Arena 針對 typesafeai 開發的 Jev Router 進行了逾 4,700 場 Agent 會話評估，發現雖然該路由器未有突破現有的柏拉圖前沿，但在響應使用者反饋方面展現出出色的可引導性。
Hamed Nilforoshan 為 HiringCafe 基準測試 OpenAI Decisions API 與 Jev
Hamed Nilforoshan 於 HiringCafe 評估 OpenAI Decisions API 與 Jev 的表現，結果顯示 OpenAI 的 API 成本高出一倍，在職位查詢相關性排序上落後 5% 至 10%。
研究發現精簡 Agent 框架提示詞與工具最多可降低 3 倍成本
一項在 SWE-bench Verified 上使用相同模型對比 Claude Code、mini-SWE-agent 與 OpenCode 的研究發現，精簡框架提示詞和工具定義可在不降低準確率的前提下，將成本最高降低 3 倍。