NVIDIAのMid-Harness、TerminalBench-LiteのPass@1を50.0%から68.0%に引き上げ
端末エージェントのテスト時計算に関するNVIDIAの論文は、GPT-5.6 Solの検証器がサンプリングした8件のshellコマンドから選ぶことで、TerminalBench-LiteのPass@1が50.0%から68.0%に上がると述べている。検証器が弱いと、サンプルを増やしてもほとんど効果がない。
#terminal-agents
すべてのAIニュースを見る最もきれいな公開ターミナルエージェント向けRLコレクションでも、Salesforce AI Researchの監査を通過したのは35.8%
Salesforce AI Researchは、そのコレクションのクリーン率を35.8%、ほか2件を10.1%と3.3%とした。報酬の誤りは両方向で見つかった。著者らによると、欠陥のある環境を除外するRIVERは、TMaxの環境の30%未満しか使わずに、Terminal-Bench-LiteでのRLの向上幅を106%、Terminal-Bench v2.1で30%増やした。