#benchmarks

장기 실행 에이전트의 컨텍스트 압축 실패를 해결하는 PAIR 프레임워크

한 연구 논문에서 동일한 상태로부터 에이전트를 반사실적으로 재실행하여 유해한 컨텍스트 압축 이벤트를 특정하고 압축 프롬프트를 재작성하는 방법인 PAIR를 제안했다.

Arena.ai, Code·Work·Chat 부문 Agent Arena 순위 공개

Anthropic 모델이 3개 부문 모두에서 1위를 차지했으며, Claude Fable 5.1 (Max)가 Code와 Work에서 1위, Claude Sonnet 5.5 (Max)가 Chat에서 1위에 올랐다. OpenAI의 GPT 6 Astra (Max)는 전 부문 4위 안에 들었다.

Cohere, 모델 생성 후 공개된 WMT26로 North Small Translate를 벤치마크

Cohere는 North Small Translate에 사용한 WMT26 벤치마크가 모델 생성 이후에 공개됐기 때문에, 해당 측정값에 맞춰 모델을 학습시킬 수 없었다고 밝혔다.

OpenRouter, 7개 라우터 대상 모델 라우터 벤치마크 출시

OpenRouter가 6개 벤치마크에 걸쳐 품질, 속도, 비용을 기준으로 7개 모델 라우터를 나란히 비교하는 모델 라우터 벤치마크(Model Router Benchmarks)를 공개했습니다. 비교 대상에는 Jev Router, Unbiased Pareto, NVIDIA Switchyard 등이 포함됩니다.

Artificial Analysis, 노트북과 워크스테이션 추론용 AA-AgentPerf-Local 오픈소스 공개

Artificial Analysis가 기록된 에이전트 세션을 재생해 로컬 추론 속도를 측정하는 AA-AgentPerf-Local을 오픈소스로 공개하고, 네 개 시스템의 초기 4-bit 결과를 발표했다. 32GB에 들어가는 모델에서 GeForce RTX 5090은 테스트한 다른 시스템보다 3.5배 넘게 빠르게 작업을 마쳤다.

Diogo Almeida, evals.typesafe.ai 데이터셋을 더 쓰기 쉽게 만들겠다고 밝혀

Diogo Almeida는 evals.typesafe.ai와 함께 공개된 데이터셋을 더 다루기 쉽게 만들고 있다고 밝혔다. 그는 또한 팀이 평가에 사용하는 모든 데이터셋을 내부 평가든 공개 평가든 더 이상 쓰지 않는다고 말했다.

Sonnet 5.5, Ibragim의 my-mini-bench에서 Opus 5.5 High와 같은 성적, 시간과 비용은 더 낮아

Ibragim의 my-mini-bench의 pi에서 Sonnet 5.5와 Opus 5.5 High는 모두 30회 중 30회를 통과했다. Sonnet 5.5는 작업당 46초, 0.10달러였고 Opus 5.5 High는 103초, 0.30달러였다.

Artificial Analysis, Claude Sonnet 5.5에 56점…Opus 5.5보다 2점 낮아

Artificial Analysis에 따르면 Claude Sonnet 5.5는 최대 effort의 Intelligence Index에서 56점을 기록해 Claude Opus 5.5(최대)보다 2점 낮았다. 동시에 측정 기준 가장 많은 출력 토큰을 사용했으며, 작업당 비용은 약 7.60달러였다.

Eleven v4, Artificial Analysis의 Provider Voice와 발음 테스트에서 선두

Artificial Analysis는 90개 이상의 언어를 지원하는 ElevenLabs의 텍스트 음성 변환 모델 Eleven v4가 자사의 Provider Voice 아레나와 Pronunciation Robustness 벤치마크에서 1위, Controlled Voice에서는 2위라고 밝혔다.

Artificial Analysis, 기업 AI 방어용 Cyber Index 공개

Artificial Analysis가 CollinearAI, IBM, NVIDIA, Vercel과 함께 Cyber Index와 Cyber Index Alliance를 출시했다. 이 지수는 AI 에이전트가 취약점을 찾아 수정하는 능력을 평가하는 세 가지 공개 벤치마크를 결합하며, Grok 4.7(xhigh)과 MiMo-V2.6-Pro가 56점으로 선두다.

논문, Jev의 yes/no 점수 하나로 정렬 실패를 표시

한 논문은 TypeSafe AI의 Jev가 추가 학습 없이 정렬 실패와 양호한 응답을 중앙값 AUROC 0.886으로 구분했다고 보고한다. 19개 벤치마크에서 Jev 1회 평가 비용은 0.30달러로, 해당 벤치마크가 쓰는 LLM 판정자의 18.96달러와 비교됐다.

Theo의 1,000달러 DeepSWE 테스트, Jev Router는 low의 GPT-6 Astra와 비슷

Theo는 Jev Router를 대상으로 한 1,000달러 규모의 DeepSWE 벤치마크가 low 설정의 GPT-6 Astra와 거의 비슷한 성능을 냈지만, 비용은 약간 더 들고 시간은 거의 5배 걸렸다고 밝혔다.

Pixel Canary 스텔스 모델, Cline에서 무료 제공

Cline은 Pixel Canary 스텔스 모델이 출시됐으며 Cline에서 무료로 제공된다고 밝혔다. Next.js Agent Evals에서 Cline은 이 모델이 GPT-6 Astra와 동점이고 Kimi K3를 앞선다고 밝혔다.

BRIDGE ASR 2.0, 긴 다국어 대화에서 음성 인식 모델 23종 평가

elvis는 humynlabs가 BRIDGE ASR 2.0을 만들어, 10~15분 길이의 실제 2인 대화에서 음성 인식을 평가한다고 밝혔다. 대상은 인도계 언어 18개와 스페인어, 포르투갈어, 베트남어다.

마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

CASD는 기성 코딩 에이전트가 에이전트 로그 전체를 분석하고 그 결과를 하나의 프롬프트에 규칙으로 쓰게 하며, 환경 접근이나 검증 데이터는 쓰지 않는다. DAIR.AI는 한 번의 실행이 보고된 벤치마크에서 GEPA와 SkillOpt를 앞섰고, 최적화된 프롬프트당 비용은 약 1.60달러라고 밝혔다.

Taste-Bench 최고 모델, 더 나은 방향을 59.7% 선택

Microsoft와 동료들의 논문에 따르면, 최고 모델은 긴 엔지니어링·연구 과제에서 열려 있는 더 나은 방향을 고르는 Taste-Bench 문항의 59.7%를 맞힌다. 나중에 나오는 근거로 판가름나는 분기점은 훨씬 어렵고, 추론 예산을 늘려도 정확도는 오르지 않으며, 교사의 결과 판단을 증류하면 홀드아웃 SWE-bench Pro 성공률이 개선된다.

Cline, Gemini 3.8 Flash를 무료로 제공

Cline에서 Gemini 3.8 Flash를 무료로 이용할 수 있다. Cline은 이 모델이 Artificial Analysis Intelligence Index에서 41점을 기록하고, 초당 291토큰으로 실행되며, 컨텍스트 창이 100만 토큰이라고 밝혔다.

Claude Opus 5.5, Artificial Analysis Coding Agent Index에서 66점

Claude Code에서 max effort로 실행했을 때 Artificial Analysis가 측정한 Opus 5.5 점수는 66점으로, Opus 5의 60점과 Claude Fable 5.1의 62점을 웃돈다. 작업당 비용은 13.04달러로, 토큰 가격이 낮아졌음에도 Opus 5의 10.79달러보다 높다.

Artificial Analysis, Intelligence Index 비용 프론티어에 새 지점 11개 보고

MiMo-V2.6-Pro, Claude Opus 5.5, GPT-6 Luna, GPT-6 Sol이 서로 다른 reasoning effort에서 Artificial Analysis의 Intelligence Index 대 작업당 비용 파레토 프론티어에 새 지점 11개를 차지했다. Claude Opus 5.5(max with fallback)는 작업당 5.98달러에 58점을 기록해 이 지수에서 가장 높은 결과다.

Microsoft AI, 이미지 Elo가 9개월 만에 864에서 1147로 올랐다고 밝혀

Microsoft AI는 이 속도를 연간 377점, 보드에서 그다음으로 빠른 상승의 1.6배로 제시한다.