DeepLearning.AI는 The Batch에서 DeepSeek의 아키텍처를 분석하며, 토큰당 캐시가 890바이트로 DeepSeek-V1 대비 437배 축소되었다고 전했다. 또한 입력 토큰이 4K에서 1M으로 늘어날 때 출력 토큰당 연산량이 25% 증가하며, AA Index에서 Flash가 V4-Pro를 앞섰다고 짚었다.
Arena.ai가 Agent Arena에서 4,700개 이상의 에이전트 세션을 통해 typesafeai의 Jev Router를 평가한 결과, 현재의 파레토 프론티어를 개선하지는 못했으나 사용자 피드백에 따른 뛰어난 조종성을 입증했다고 밝혔다.
하메드 닐포로샨이 HiringCafe에서 OpenAI Decisions API와 Jev를 평가한 결과, 채용 검색 관련도 순위 평가에서 OpenAI API의 비용이 2배 더 들고 성능은 5%~10% 더 낮았다고 밝혔습니다.
동일한 모델을 사용해 SWE-bench Verified에서 Claude Code, mini-SWE-agent, OpenCode를 비교한 연구에 따르면, 하네스 프롬프트와 도구 스키마를 최소화함으로써 정확도 저하 없이 비용을 최대 3배 절감할 수 있는 것으로 나타났다.
Scale Labs가 일상적인 직관적 시각 추론을 평가하기 위해 이미지와 비디오 전반의 522개 개방형 작업으로 구성된 평가 벤치마크 Humanity's Sixth Sense를 공개했다.
Artificial Analysis는 Claude Haiku 5.5에 이전 Haiku보다 26점 상승한 43점을 부여하고, 100만 토큰의 컨텍스트 창을 지원한다고 밝혔다. 이번 결과에는 토큰 사용량, 터미널 작업, 사실 정확도 및 해당 기관이 과소평가되었을 가능성이 높다고 밝힌 AutomationBench 점수도 포함된다.
엔비디아 연구진이 벤치마크 궤적을 루브릭 평가가 가능한 9,000개 이상의 재시작 가능한 샌드박스로 변환하고, 모델 가중치와 함께 에이전트 하네스를 동시 진화시키는 VERA 시스템을 논문으로 공개했다. 연구팀은 해당 환경 말뭉치를 오픈소스로 공개했으며, 27B 에이전트가 AutoCoWorkBench에서 71.6점을 기록해 Claude Opus 4.8을 넘어섰다고 밝혔다.
Mistral AI가 AutomationBench 평가 결과를 발표했다. Mistral Large 4는 시뮬레이션된 업무용 애플리케이션 환경에서 657개 비즈니스 워크플로를 완료하며 Kimi K3, MiMo-V2.6-Pro, DeepSeek V4 Pro를 앞섰다.
Mistral Large 4가 1,534점으로 Arena.ai의 Code Arena: WebDev 리더보드 45위에 올랐으며, Claude Opus 4.8 (High)와 2점 차이를 기록하면서 혼합 토큰 비용은 약 6분의 1 수준을 유지했습니다.
Arena.ai가 Google의 Nano Banana 2.1을 Text-to-Image, Image Edit, Multi-Image Edit 아레나에 추가했다. 이 모델은 Multi-Image Edit 4위, Text-to-Image 5위, Image Edit 6위를 기록했다.
Cline의 보고에 따르면 Mistral Large 4는 사이버 보안 벤치마크에서 Opus 5.5와 GPT-6 Astra를 앞섰으며, 경쟁 모델들의 작업 중 약 40%가 안전 필터에 의해 차단된 점이 주된 요인으로 분석됐다.
GitHub가 AI 코드 리뷰 에이전트가 노이즈 없이 핵심 문제를 식별하는지 평가하기 위한 오픈 벤치마크 ReviewBench를 출시했다. 19개 언어에 걸친 219개 풀 리퀘스트를 기반으로 한다.
Mistral AI는 Mistral Large 4가 실제 실행 환경 기반의 도구 호출을 사용해 CTF(Capture the Flag) 스피드런에서 19개 과제 중 18개를 해결했다고 밝혔다.
Apolinário가 Hugging Face Spaces에 jev Decision Index v0.3을 공개했다. 공개 벤치마크를 넘어서는 모델 역량을 추적하기 위한 비공개 평가 분할이 포함된 업데이트 벤치마크 스위트와 새로운 비전 지원을 제공한다.
Artificial Analysis가 Mistral Large 4 Preview를 평가했다. 해당 모델은 Intelligence Index에서 38점, Cyber Index에서 50%를 기록했다. Mistral AI는 512k 컨텍스트를 지원하는 이 모델을 100만 입력 토큰당 1.36달러, 100만 출력 토큰당 4.18달러에 제공하며, 출시 후 첫 2주 동안 50% 할인 혜택을 적용한다.
Lambda가 모델 카드를 업데이트하여 최소 사양의 Lambda 하드웨어에서 NVIDIA AI의 AIPerf 패키지로 측정한 서빙 벤치마크를 추가하고, 사용자 동시 접속 임계값에 따른 배포 동작을 제시했다.
앤트그룹이 총 매개변수 5,600억 개와 100만 토큰 컨텍스트 창을 지원하는 추론 모델 'Ling 3.1 Flash'를 출시했습니다. 아티피셜 애널리시스는 지능 지수 v4.3 평가에서 이 모델에 41점을 부여하며 에이전트 성능과 토큰 효율성의 뚜렷한 개선을 짚었습니다.
Black Forest Labs는 비디오 모델의 물리 세계 이해도를 측정하는 구글 딥마인드의 Physics-IQ 벤치마크에서 FLUX 3가 Sora 2, Veo 3.1, Cosmos3 등 프론티어 시스템을 제치고 1위를 차지했다고 발표했다.
Artificial Analysis의 벤치마크 결과 OpenAI Web Search의 작업당 소요 시간은 약 31초로, 테스트된 26개 제품 중 14위를 기록했다. OpenAI는 검색 지연 시간을 직접 공개하지 않기 때문에 측정팀은 스트림 이벤트를 통해 이를 산출했다.
Artificial Analysis가 검색 인덱스(Search Index)에서 OpenAI Web Search를 벤치마크한 결과, 해당 도구는 74점을 기록해 공급업체 중 5위, 테스트된 26개 제품 중 7위를 차지했다. 중간 추론 수준의 GPT-5.6 Luna에서 실행되었으며, 내장 검색 도구의 작업당 평균 비용은 약 0.05달러였다.