#artificial-analysis

Artificial Analysis, 비디오 순위표에 파생 모델 표기 및 필터 기능 추가

Artificial Analysis가 순위표의 파생 비디오 모델 옆에 기본 모델 로고를 표시하기 시작했으며, 파생 모델을 숨기고 기본 모델만 순위를 매길 수 있는 옵션을 추가했다.

Vidu Q4 Preview 출시: 4K 영상 및 네이티브 오디오 지원, Artificial Analysis 리더보드 3위 기록

Vidu가 Q4 정식 출시에 앞서 Vidu Q4 Preview를 출시했다. 네이티브 오디오를 포함해 최대 4K 해상도로 3~16초 길이의 클립을 생성하며, Artificial Analysis의 AA-Video-I2V v1.0 리더보드에서 3위에 올랐다.

Artificial Analysis, AA-Music v1.1 벤치마크 출시…Suno v6 1위 차지

Artificial Analysis가 Music Arena를 위한 AA-Music-Vocal v1.1 및 AA-Music-Instrumental v1.1을 출시했다. 17개 장르에 걸친 1,000개의 신규 프롬프트로 모델을 평가하며, 두 리더보드 모두 Suno v6가 1위, Suno v6-mini가 2위를 기록했다.

Artificial Analysis, 지능 지수에서 Claude Haiku 5.5에 43점 부여

Artificial Analysis는 Claude Haiku 5.5에 이전 Haiku보다 26점 상승한 43점을 부여하고, 100만 토큰의 컨텍스트 창을 지원한다고 밝혔다. 이번 결과에는 토큰 사용량, 터미널 작업, 사실 정확도 및 해당 기관이 과소평가되었을 가능성이 높다고 밝힌 AutomationBench 점수도 포함된다.

Gemini 3.8 Live, 오디오 시간당 0.84달러로 Artificial Analysis 음성 대 음성 지표 1위 기록

Google의 Gemini 3.8 Live Extended Thinking 모델이 Artificial Analysis의 Speech to Speech Index에서 1위를 차지했으며, 표준 모델은 블라인드 실시간 인간 평가에서 2위를 기록했다. 표준 모델 비용은 입력 오디오 시간당 0.84달러로, 해당 지표에 등록된 요금 중 가장 저렴하다.

샤오미, MiMo-V2.6-Pro의 테스트 편법 통과 방지 위해 강화학습에 품질 체크리스트 점수 도입

샤오미는 테스트 통과만을 목적으로 훈련된 모델이 불필요한 코드를 삽입하고 오류를 묵인하는 문제를 해결하기 위해, 테스트 결과에 품질 체크리스트 점수를 곱하는 방식을 적용했다. 이를 거친 MiMo-V2.6-Pro RL은 Artificial Analysis Intelligence Index에서 46점을 기록하며 오픈 가중치 모델 중 1위에 올랐다.

Artificial Analysis, Mistral Large 4 평가 결과 공개… 512k 컨텍스트 및 API 가격 책정

Artificial Analysis가 Mistral Large 4 Preview를 평가했다. 해당 모델은 Intelligence Index에서 38점, Cyber Index에서 50%를 기록했다. Mistral AI는 512k 컨텍스트를 지원하는 이 모델을 100만 입력 토큰당 1.36달러, 100만 출력 토큰당 4.18달러에 제공하며, 출시 후 첫 2주 동안 50% 할인 혜택을 적용한다.

앤트그룹, 'Ling 3.1 Flash' 출시... 아티피셜 애널리시스 지능 지수 41점 기록

앤트그룹이 총 매개변수 5,600억 개와 100만 토큰 컨텍스트 창을 지원하는 추론 모델 'Ling 3.1 Flash'를 출시했습니다. 아티피셜 애널리시스는 지능 지수 v4.3 평가에서 이 모델에 41점을 부여하며 에이전트 성능과 토큰 효율성의 뚜렷한 개선을 짚었습니다.

Artificial Analysis, OpenAI Web Search의 작업당 소요 시간 약 31초로 측정

Artificial Analysis의 벤치마크 결과 OpenAI Web Search의 작업당 소요 시간은 약 31초로, 테스트된 26개 제품 중 14위를 기록했다. OpenAI는 검색 지연 시간을 직접 공개하지 않기 때문에 측정팀은 스트림 이벤트를 통해 이를 산출했다.

Artificial Analysis, 검색 인덱스에서 OpenAI Web Search에 74점 부여

Artificial Analysis가 검색 인덱스(Search Index)에서 OpenAI Web Search를 벤치마크한 결과, 해당 도구는 74점을 기록해 공급업체 중 5위, 테스트된 26개 제품 중 7위를 차지했다. 중간 추론 수준의 GPT-5.6 Luna에서 실행되었으며, 내장 검색 도구의 작업당 평균 비용은 약 0.05달러였다.

Artificial Analysis: Eleven v4 Turbo, 초당 96자 처리하며 Eleven v4 대비 절반 가격에 제공

Artificial Analysis에 따르면 ElevenLabs의 Eleven v4 Turbo는 생성 시간 기준 초당 96자를 처리하며, 가격은 100만 자당 40달러다. 벤치마크 결과 해당 모델은 Eleven v4보다 빠르게 실행되면서 비용은 절반 수준으로 낮아졌다.

Eleven v4 Turbo, Artificial Analysis의 Provider Voice TTS Arena에서 1위 기록

Artificial Analysis의 Provider Voice TTS Arena에서 ElevenLabs의 Eleven v4 Turbo가 Elo 점수 1,334점을 기록하며 Eleven v4, Qwen-Audio-3.1-TTS-Plus, Sonic 3.6을 제치고 1위에 올랐다. Controlled Voice 부문에서는 2위를 기록했으며 발음 견고성은 90.1%를 나타냈다.

Artificial Analysis, 노트북과 워크스테이션 추론용 AA-AgentPerf-Local 오픈소스 공개

Artificial Analysis가 기록된 에이전트 세션을 재생해 로컬 추론 속도를 측정하는 AA-AgentPerf-Local을 오픈소스로 공개하고, 네 개 시스템의 초기 4-bit 결과를 발표했다. 32GB에 들어가는 모델에서 GeForce RTX 5090은 테스트한 다른 시스템보다 3.5배 넘게 빠르게 작업을 마쳤다.

Artificial Analysis: Intelligence Index 최고점이 1년 만에 17에서 58로 상승

Artificial Analysis에 따르면, 1년 전 GPT-5 mini(high)가 Intelligence Index v4.3에서 17점, 작업당 약 0.05달러로 선두였다. 지난주 기준으로 Claude Opus 5.5가 58점, 작업당 약 5.98달러로 지금까지 최고점을 유지하고 있다.

Artificial Analysis: GPT-6.1 Sol, GPT-6 Astra보다 1점 낮고 비용은 4분의 1 미만

Artificial Analysis에 따르면 GPT-6.1 Sol은 7일 뒤 GPT-6 Sol을 대체하며, Intelligence Index에서 GPT-6 Sol보다 4점 높고, 최대 노력 수준에서 작업당 비용은 0.72달러로 GPT-6 Astra의 3.26달러보다 낮다. 정가는 GPT-6 Sol과 같은 100만 토큰당 2달러/10달러이며, 캐시 읽기 할인은 90%에서 95%로 올랐다.

Artificial Analysis, Claude Sonnet 5.5에 56점…Opus 5.5보다 2점 낮아

Artificial Analysis에 따르면 Claude Sonnet 5.5는 최대 effort의 Intelligence Index에서 56점을 기록해 Claude Opus 5.5(최대)보다 2점 낮았다. 동시에 측정 기준 가장 많은 출력 토큰을 사용했으며, 작업당 비용은 약 7.60달러였다.

Eleven v4, Artificial Analysis의 Provider Voice와 발음 테스트에서 선두

Artificial Analysis는 90개 이상의 언어를 지원하는 ElevenLabs의 텍스트 음성 변환 모델 Eleven v4가 자사의 Provider Voice 아레나와 Pronunciation Robustness 벤치마크에서 1위, Controlled Voice에서는 2위라고 밝혔다.

Artificial Analysis, Cyber Index를 세 벤치마크의 평균으로 산출하고 안전 거부는 0점으로 처리

Artificial Analysis는 Cyber Index가 CWE-Bench-AA, DeepsecBench-AA, CyberGym-E2E-AA의 평균이라고 밝혔다. 모델이 안전상의 이유로 거부한 과제는 0점으로 처리되며, 다른 실패와 별도로 보고된다.

Artificial Analysis, 기업 AI 방어용 Cyber Index 공개

Artificial Analysis가 CollinearAI, IBM, NVIDIA, Vercel과 함께 Cyber Index와 Cyber Index Alliance를 출시했다. 이 지수는 AI 에이전트가 취약점을 찾아 수정하는 능력을 평가하는 세 가지 공개 벤치마크를 결합하며, Grok 4.7(xhigh)과 MiMo-V2.6-Pro가 56점으로 선두다.

Opus 5.5, 작업당 토큰 사용량 Opus 5보다 37% 많아

Artificial Analysis에 따르면 Claude Opus 5.5는 Coding Agent Index 작업당 1,560만 토큰을 쓰며, Opus 5는 1,140만 토큰을 쓴다. 캐시된 입력은 1,090만에서 1,460만으로 늘고, 출력은 13만 7천에서 33만 3천으로 두 배 이상 증가한다.