#benchmark

Mistral AI, Mistral Large 4가 Harvey 법률 에이전트 벤치마크서 오픈소스 모델 1위 차지했다고 밝혀

Mistral AI는 Mistral Large 4가 Harvey의 Legal Agent Benchmark에서 오픈소스 모델 1위를 기록했다고 밝혔다.

Hassan, AI 모델의 GeoGuessr 실력을 평가하는 GeoGuess Bench 공개

GeoGuess Bench는 전 세계 사진 210장을 사용한 위치 추정 과제로 AI 모델을 평가한다. 종합 순위에서는 Claude Opus 5.5가 1위를 기록했으며, 오픈 모델 역시 낮은 추론 비용으로 경쟁력 있는 정확도를 보였다.

Jiantao Jiao, 53개 과제의 NVIDIA 벤치마크 SWE-Serve 발표

Jiantao Jiao는 NVIDIA 팀이 AI 에이전트가 추론 엔진을 개발하고 실제 모델을 서빙할 수 있는지 시험하기 위해 SWE-Serve를 만들었다고 밝혔다. 이 벤치마크는 실제 sgl_project 엔지니어링 작업에서 가져온 53개 과제로 구성된다.

Tencent Hy, AI로 만든 웹 앱용 WebCraftBench 공개

WebCraftBench는 에이전트가 실제 앱을 사용한 뒤 심미성, 사용성, 원래 요청의 충족 여부를 평가한다. Tencent Hy는 검증된 197개 쌍에서 인간 선호와 85.3% 일치했다고 밝혔다.

MentalHealthBench, 일상적 지원부터 급성 위기까지 다룬다

OpenAI는 MentalHealthBench가 응급 상황만이 아니라, 사람들이 AI에 가져오는 정신건강 대화의 전 범위, 즉 일상적 지원부터 더 급성인 위기 상황까지 다루도록 설계됐다고 밝혔다.

OpenAI, 현실적인 정신건강 대화를 위한 MentalHealthBench 공개

OpenAI가 정신건강 임상의 80명 이상이 참여해 만든 새 벤치마크 MentalHealthBench를 공개했다. OpenAI는 이 벤치마크가 프론티어 모델이 현실적인 정신건강 대화에서 계속 개선되고 있음을 보여 준다고 밝혔다.

Gemini 3.8 Flash TTS, Artificial Analysis 발음 벤치마크에서 89.5%로 1위

Artificial Analysis의 Pronunciation Robustness 벤치마크에서 Gemini 3.8 Flash TTS는 89.5%를 기록하며 Gemini 3.1 Flash TTS, SpaceXAI TTS, Gemini 3.8 Flash-Lite TTS를 앞섰다. 개별 발음 항목의 1위는 여러 모델에 나뉘어 있다.

Polymarket, GPT-6 Astra가 실제 Toyota Corolla로 장애물 코스를 완주했다고 밝혀

Polymarket는 GPT-6 Astra가 DrivingBench가 테스트한 AI 가운데 코스를 완주한 유일한 AI였다고 밝혔다.

NVIDIA AI, Nemotron 3 Diarization이 초기 Diarization-Bench 12개 중 1위라고 밝혀

NVIDIA AI는 voicearena_ai의 초기 Diarization-Bench에서 Nemotron 3 Diarization의 오류율이 14.72%로, 2위보다 약 24% 낮다고 밝혔다.

AssemblyAI Universal 3.5 Pro, 15개 모델 테스트에서 단어 오류율 1.93%

Tarush Agarwal은 동일한 음성과 파이프라인으로 15개 모델을 비교한 음성-텍스트 벤치마크를 보고했다. Pipecat FLEURS의 낭독 클립 1,000개에서 AssemblyAI Universal 3.5 Pro는 단어 오류율 1.93%, 첫 텍스트까지 걸린 시간의 중앙값 489ms로, 해당 테스트에서 두 지표 모두 가장 좋은 결과를 냈다.

Lovable, 이제 GPT-6 Sol로 제작

Lovable는 자사 0-to-1 제작 벤치마크에서 GPT-6 Sol이 모든 노력 수준에서 GPT-5.6 Sol보다 6~12% 높은 점수를 기록했으며, 의도 정렬과 디자인 기본기에서 더 큰 향상을 보였다고 밝혔다.

Qwen, 하이브리드 컴퓨터 사용 에이전트를 위한 RecreationBench 도입

ModelScope는 Qwen이 Ubuntu, macOS, Windows, Android 및 Web에서 하이브리드 컴퓨터 사용 에이전트를 위한 250개 작업 벤치마크인 RecreationBench를 도입했다고 밝혔다. 에이전트는 실행 중인 앱을 탐색하고 코드로 재현한 뒤 프로그램 테스트와 VLM 기반 시각 평가를 통과해야 한다.

Bailey Jennings, ONET 직무 분류에서 Jev와 Luna를 비교

짧은 데모에서 TypeSafe AI의 Jev는 정확 일치 80.5%, 약 200밀리초, 100만 단위당 122달러를 기록했고, Luna는 정확 일치 84.9%, 약 2초, 100만 단위당 482달러를 기록했다.