NVIDIA Mid-Harness 将 TerminalBench-Lite 的 Pass@1 从 50.0% 提升至 68.0%
一篇关于终端智能体测试时计算的 NVIDIA 论文称，GPT-5.6 Sol 验证器在八条采样 shell 命令中选择，可将 TerminalBench-Lite 的 Pass@1 从 50.0% 提升至 68.0%。验证器较弱时，增加样本几乎没有作用。
#terminal-agents
查看全部AI快讯最干净的公开终端智能体 RL 集合中，仅 35.8% 通过 Salesforce AI Research 审计
Salesforce AI Research 将该集合的干净比例定为 35.8%，另外两个分别为 10.1% 和 3.3%，并发现两个方向的奖励错误。作者称，用于过滤缺陷环境的 RIVER 在使用不到 TMax 30% 环境的情况下，使 Terminal-Bench-Lite 上的 RL 增益提高 106%，Terminal-Bench v2.1 上提高 30%。