NVIDIAのMid-Harness、TerminalBench-LiteのPass@1を50.0%から68.0%に引き上げ
端末エージェントのテスト時計算に関するNVIDIAの論文は、GPT-5.6 Solの検証器がサンプリングした8件のshellコマンドから選ぶことで、TerminalBench-LiteのPass@1が50.0%から68.0%に上がると述べている。検証器が弱いと、サンプルを増やしてもほとんど効果がない。
端末エージェントのテスト時計算に関するNVIDIAの論文は、GPT-5.6 Solの検証器がサンプリングした8件のshellコマンドから選ぶことで、TerminalBench-LiteのPass@1が50.0%から68.0%に上がると述べている。検証器が弱いと、サンプルを増やしてもほとんど効果がない。