#swe-bench

研究發現精簡 Agent 框架提示詞與工具最多可降低 3 倍成本

一項在 SWE-bench Verified 上使用相同模型對比 Claude Code、mini-SWE-agent 與 OpenCode 的研究發現，精簡框架提示詞和工具定義可在不降低準確率的前提下，將成本最高降低 3 倍。

UT Austin 研究發現，削減 token 的上下文壓縮可能拖慢編碼智能體

UT Austin 一項研究在 SWE-bench Verified 和 Terminal-Bench 上進行了近 35,000 次編碼智能體運行，分別改變上下文如何壓縮、何時觸發壓縮，以及壓縮掉多少內容。在 Qwen 的 Terminal-Bench 上，使用約三分之一 token 的策略，耗時可能比保留完整上下文多 20% 至 80%。

AutoCompact 訓練編程智能體決定何時壓縮上下文

AutoCompact 使用評審器修正壓縮決策，然後應用監督微調和帶任務成功獎勵的強化學習。報告的通過率在 SWE-bench Verified 上提高 9.2 點，在 SWE-PolyBench Verified 上提高 5.0 點，包括在 256K 視窗從未溢出的情況下。

最佳 Taste-Bench 模型有 59.7% 時間選出較佳方向

微軟與合作者的論文指出，在長程工程與研究任務中選擇較佳的開放方向時，最佳模型答對 59.7% 的 Taste-Bench 問題。由較後證據決定的分岔難度高得多，加大推理預算不會提高準確率；把教師對結果的判斷蒸餾到學生模型，則能提升在留出的 SWE-bench Pro 上的成功率。