NVIDIAのMid-Harness、TerminalBench-LiteのPass@1を50.0%から68.0%に引き上げ

Mid-Harnessは生成器とharnessを変えず、両者の間で動作する。候補となるshellコマンドを複数サンプリングし、1件を実行する前に検証する。論文は、検証器により多くの計算を使うほうが、サンプルを追加で引くよりも有用だとしている。

GPT-5.6 Solがサンプリング済みの8件のアクションから選ぶと、TerminalBench-LiteのPass@1は50.0%から68.0%に上昇する。弱い検証器は追加サンプルからほとんど得るものがない。小型のTMAX-9Bモデルが自身の候補を確認する場合は、ペアワイズ比較が最も有効で、強い検証器をTMAX-9Bに蒸留するとさらに効果がある。アクションサンプリングと軌跡サンプリングを組み合わせると、完全な軌跡だけをサンプリングするよりも、推定トークンコストを抑えつつ高い成功率に達する。論文はMid-Harness。