エージェントハーネスのプロンプトとツール簡素化でコストを最大3倍削減、研究で判明
SWE-bench Verified上で同一モデルを用いClaude Code、mini-SWE-agent、OpenCodeを比較した研究によると、ハーネスのプロンプトとツールのスキーマを最小限に抑えることで、精度を落とさずにコストを最大3倍削減できることが分かった。
#swe-bench
すべてのAIニュースを見るUT Austin の研究、トークンを削るコンテキスト圧縮がコーディングエージェントを遅くする可能性
UT Austin の研究は SWE-bench Verified と Terminal-Bench で約 35,000 回のコーディングエージェント実行を行い、コンテキストの圧縮方法、圧縮をいつ発動するか、どれだけ削除するかを変えた。Qwen を使う Terminal-Bench では、約 3 分の 1 のトークンを使うポリシーは、完全なコンテキストを保持する場合より 20% から 80% 長くかかることがある。
AutoCompact、コーディングエージェントがコンテキストをいつ圧縮するか判断できるよう訓練
AutoCompactはジャッジを使って圧縮判断を修正し、その後、教師あり微調整とタスク成功報酬による強化学習を適用する。報告されている通過率はSWE-bench Verifiedで9.2ポイント、SWE-PolyBench Verifiedで5.0ポイント上昇し、256Kウィンドウが一度もオーバーフローしない場合も含む。
Taste-Benchで最高のモデルは、より良い方向を59.7%の割合で選ぶ
Microsoftらの論文によると、長期のエンジニアリングと研究タスクで、開いている方向のうちより良いものを選ぶTaste-Benchの設問に、最高のモデルは59.7%正解した。後から現れる証拠で決まる分岐ははるかに難しく、推論予算を増やしても精度は上がらない。教師の結果判断を蒸留すると、未使用のSWE-bench Proでの成功率は向上した。