Scale AI 发布 SWE-Bench Pro V2 SScale AI2026/9/23 01:42:38 Scale AI 于2026年9月22日发布 SWE-Bench Pro V2,这是 SWE-Bench Pro 更新后的公开划分。 #scale-ai#swe-bench-pro#基准测试#评测
Scale AI 与 Google Cloud 合作推出 Scale GenAI Portfolio 参考架构这份联合蓝图将 Scale GenAI Portfolio 带到 Google Cloud,并包含 Gemini Enterprise 集成。Scale AI 表示,它旨在为构建者提供经过验证的基础,以便更快把 AI 投入使用。
论文用一次 Jev 是/否评分标记对齐失败一篇论文报告,TypeSafe AI 的 Jev 无需额外训练,就能以 0.886 的中位 AUROC 把对齐失败与良好回答区分开。在 19 项基准上,一次 Jev 评估成本为 0.30 美元,而这些基准所用的 LLM 评判成本为 18.96 美元。
Theo 的 1000 美元 DeepSWE 测试显示,Jev Router 接近 GPT-6 Astra 的 low 档Theo 表示,他用 1000 美元对 Jev Router 做的 DeepSWE 基准测试,表现大致与 GPT-6 Astra 的 low 档相当,成本略高,耗时将近 5 倍。
Pixel Canary 隐身模型可在 Cline 免费使用Cline 称,Pixel Canary 隐身模型已经发布,并可在 Cline 中免费使用。Cline 还称,在 Next.js Agent Evals 上,该模型与 GPT-6 Astra 并列,并超过 Kimi K3。
BRIDGE ASR 2.0 测试 23 个语音识别模型在长篇多语言对话中的表现elvis 表示,humynlabs 构建了 BRIDGE ASR 2.0,用于评估语音识别在真实双人对话中的表现。这些对话时长为 10 至 15 分钟,涵盖 18 种印度语言,以及西班牙语、葡萄牙语和越南语。