에이전트 하네스 프롬프트와 도구 축소로 비용 최대 3배 절감, 연구서 확인
동일한 모델을 사용해 SWE-bench Verified에서 Claude Code, mini-SWE-agent, OpenCode를 비교한 연구에 따르면, 하네스 프롬프트와 도구 스키마를 최소화함으로써 정확도 저하 없이 비용을 최대 3배 절감할 수 있는 것으로 나타났다.
#swe-bench
모든 AI 뉴스 보기UT Austin 연구, 토큰을 줄이는 컨텍스트 압축이 코딩 에이전트를 느리게 할 수 있어
UT Austin 연구는 SWE-bench Verified와 Terminal-Bench에서 약 35,000회의 코딩 에이전트 실행을 수행하며 컨텍스트 압축 방식, 압축 발동 시점, 삭제량을 달리했다. Qwen을 사용한 Terminal-Bench에서는 약 3분의 1의 토큰을 쓰는 정책이 전체 컨텍스트를 유지할 때보다 20%에서 80% 더 오래 걸릴 수 있다.
AutoCompact, 코딩 에이전트가 언제 컨텍스트를 압축할지 결정하도록 훈련
AutoCompact는 판정자를 사용해 압축 결정을 수정한 뒤, 지도 미세 조정과 작업 성공 보상을 사용한 강화 학습을 적용한다. 보고된 통과율은 SWE-bench Verified에서 9.2포인트, SWE-PolyBench Verified에서 5.0포인트 상승하며, 256K 창이 전혀 넘치지 않는 경우도 포함한다.
Taste-Bench 최고 모델, 더 나은 방향을 59.7% 선택
Microsoft와 동료들의 논문에 따르면, 최고 모델은 긴 엔지니어링·연구 과제에서 열려 있는 더 나은 방향을 고르는 Taste-Bench 문항의 59.7%를 맞힌다. 나중에 나오는 근거로 판가름나는 분기점은 훨씬 어렵고, 추론 예산을 늘려도 정확도는 오르지 않으며, 교사의 결과 판단을 증류하면 홀드아웃 SWE-bench Pro 성공률이 개선된다.