NVIDIA Mid-Harness, TerminalBench-Lite Pass@1을 50.0%에서 68.0%로 높여
터미널 에이전트의 테스트 시점 계산에 관한 NVIDIA 논문은, GPT-5.6 Sol 검증기가 샘플링한 shell 명령 8개 가운데 고르면 TerminalBench-Lite Pass@1이 50.0%에서 68.0%로 오른다고 밝혔다. 검증기가 약할 때는 샘플을 늘려도 거의 효과가 없다.
#terminal-agents
모든 AI 뉴스 보기가장 깨끗한 공개 터미널 에이전트 RL 컬렉션 중 Salesforce AI Research 감사를 통과한 비율은 35.8%뿐
Salesforce AI Research는 양방향 보상 오류를 확인한 뒤 해당 컬렉션의 깨끗한 비율을 35.8%, 다른 두 컬렉션은 10.1%와 3.3%로 제시했다. 저자들은 결함 환경을 걸러내는 RIVER가 TMax 환경의 30% 미만을 쓰면서도 Terminal-Bench-Lite에서 RL 이득을 106%, Terminal-Bench v2.1에서 30% 늘린다고 말한다.