#model-evaluation

Surge AI 블라인드 코딩 평가에서 Mistral Large 4 종합 2위 기록

Surge AI가 Mistral Large 4 출시에 맞춰 프론티어 모델 5종의 코드 리뷰 품질을 평가한 결과, 해당 모델이 오픈 웨이트 모델 중 1위, 종합 순위에서는 Opus 5에 이어 2위를 차지했다.

Arena.ai, AI 심사위원이 인간 투표보다 자신의 답을 선호한다고 밝혀

Arena.ai는 12개 모델의 판정 34,580건을 1,460건의 Arena 대결에서 나온 인간 투표와 비교했다. 평균적으로 모델은 58%의 경우 자신의 답을 골랐고, 사람들은 같은 답을 34%의 경우 골랐다.

Databricks 테스트에서 Opus 5.5와 GPT-6 Luna가 코딩의 비용·품질 경계를 확대

Patrick Wendell은 Databricks가 엔지니어 2,400명의 온라인 워크로드를 분석하고 오프라인 평가를 함께 진행한 결과, Opus 5.5와 GPT-6 Luna가 비용·품질 경계를 넓혔다고 밝혔다. Opus 5.5는 같은 작업의 비용을 Opus 4.8 대비 20% 낮췄으며, Databricks는 이를 코딩의 일상 기본 모델로 권하고 있다.

논문, 부유로 추정한 사용자에게 개인 AI 에이전트가 더 비싼 선택지를 권한다고 밝혀

새 논문은 13개 모델 중 8개가 요청이 동일해도 부유로 추정한 사용자에게 더 비싼 항공편, 건강보험 또는 대학원 과정을 선택했다고 보고한다. Claude Opus 4.8에서 차이는 항공편당 198달러, 보험은 월 284달러에 달한다.

Arena.ai, GPT-6 Sol (Max)를 Agent Arena 6위로 평가… 순개선 +7.7%, 작업당 0.75달러

Arena.ai는 OpenAI의 GPT-6 Sol (Max)가 4,000건 이상의 실제 에이전트 세션에서 순개선 +7.7%를 기록했고, 작업당 중간 비용은 0.75달러라고 밝혔다. Claude Fable 5 (High)보다 0.60%포인트 낮으며, 작업당 비용은 56% 더 낮다.

Arena.ai, 개편된 Leaderboard Overview 출시

새 개요는 신규 추가 모델, 카테고리별 성능, 역량 메모, Arena 뉴스의 실시간 신호를 한곳에 모으며, GPT-6 Sol과 Claude Opus 5.5 같은 모델의 아레나 간 점수를 보여 줄 수 있다.

Arena, Claude Opus 5.5와 GPT-6 Sol의 나란히 비교 출력 공개

Arena.ai는 Anthropic의 Claude Opus 5.5와 OpenAI의 GPT-6 Sol로 나란히 비교한 출력을 생성했으며, Claude Opus 5.5의 점수는 곧 공개될 예정이라고 밝혔다.

Command Code, 3D SubwayBench에서 세 모델 점수 매겨

동일한 /design 프롬프트로 Command Code는 DeepSeek-V4.1-Flash에 $0.024로 10점 만점에 9점, Mimo-V2.6-Flash에 $0.018로 8점, Grok-4.7에 $0.35로 3점을 줬다.

Artificial Analysis, 9개 언어 TTS 리더보드 추가

Artificial Analysis가 Controlled Voice Arena를 일본어, 중국어(만다린), 힌디어, 스페인어, 독일어, 프랑스어, 포르투갈어, 베트남어, 아랍어의 개별 텍스트 음성 변환 리더보드로 확장했다. 순위는 해당 언어로 작성된 프롬프트, 표준화된 복제 음성, 모국어 화자의 선호도 투표를 사용한다.

Artificial Analysis, 9개 언어 텍스트 음성 변환 리더보드 추가

Controlled Voice Arena가 이제 일본어, 만다린 중국어, 힌디어, 스페인어, 독일어, 프랑스어, 포르투갈어, 베트남어, 아랍어로 텍스트 음성 변환 모델을 순위화한다. Cartesia의 Sonic 제품군이 9개 보드 중 8개에서 선두이고, Inworld AI의 Realtime TTS-2가 만다린 중국어에서 1위다.

Arena.ai, GPT-6 Sol과 GPT-6 Luna 점수 곧 공개될 예정이라고 밝혀

OpenAI의 두 모델은 Arena에서 시험할 수 있으며, 실제 에이전트 작업에 대한 투표가 리더보드에 반영된다. Arena.ai는 petergostev가 같은 프롬프트와 최대 추론 설정으로 GPT-6 Sol과 GPT-5.6 Sol을 비교했다고도 밝혔다.

OpenAI, 독립 평가를 위한 4가지 우선 영역 제시

OpenAI는 학습, 평가, 배포 전반에 대한 심층 접근을 통해 독립 평가를 지원하겠다고 밝혔으며, 엄밀하고 안전하며 독립적인 작업을 위한 4가지 우선 영역과 원칙을 제시하고 있다.