Artificial Analysis, AA-Music v1.1 벤치마크 출시…Suno v6 1위 차지
Artificial Analysis가 Music Arena를 위한 AA-Music-Vocal v1.1 및 AA-Music-Instrumental v1.1을 출시했다. 17개 장르에 걸친 1,000개의 신규 프롬프트로 모델을 평가하며, 두 리더보드 모두 Suno v6가 1위, Suno v6-mini가 2위를 기록했다.
#ai-benchmarks
모든 AI 뉴스 보기Claude Haiku 5.5, Arena.ai의 Agent Arena 및 Code Arena에서 제공 시작
Arena.ai가 Anthropic의 Claude Haiku 5.5를 Agent Arena와 Code Arena의 WebDev, Text, Document, Vision 트랙에 추가했으며, 벤치마크 평가 점수는 곧 공개될 예정이다.
Mistral Large 4, Arena.ai의 Agent Arena 및 Code Arena에 출시
Arena.ai가 사용자 테스트를 위해 Mistral AI의 Mistral Large 4를 Agent Arena에 추가했으며, WebDev, Text, Vision 전반의 Code Arena에도 함께 도입했다. 이 모델은 총 1조 개의 매개변수와 490억 개의 활성 매개변수를 갖추고 있으며, 평가 점수는 곧 공개될 예정이다.
Artificial Analysis, Cyber Index를 세 벤치마크의 평균으로 산출하고 안전 거부는 0점으로 처리
Artificial Analysis는 Cyber Index가 CWE-Bench-AA, DeepsecBench-AA, CyberGym-E2E-AA의 평균이라고 밝혔다. 모델이 안전상의 이유로 거부한 과제는 0점으로 처리되며, 다른 실패와 별도로 보고된다.