Surge AI 盲測編程能力:Mistral Large 4 位列總榜第二
Surge AI 配合 Mistral Large 4 發布評估了五款前沿模型的代碼審查質素,該模型在開放權重模型中排名第一,總榜僅次於 Opus 5 位列第二。
Surge AI 配合 Mistral Large 4 發布評估了五款前沿模型的代碼審查質素,該模型在開放權重模型中排名第一,總榜僅次於 Opus 5 位列第二。
Arena.ai 將 12 個模型的 34,580 次裁決與人類投票比較,涵蓋 1,460 場 Arena 對戰。平均而言,模型有 58% 的時間選擇自己的答案,而人們選擇同一答案的比例為 34%。
Patrick Wendell 表示,Databricks 對 2,400 名工程師線上工作負載的分析,加上離線評測,發現 Opus 5.5 與 GPT-6 Luna 拓展了成本與質素前沿。Opus 5.5 將相同任務的成本較 Opus 4.8 降低 20%,Databricks 正鼓勵將其作為日常編程的預設模型。
一篇新論文報告,13 個模型中有 8 個在請求保持相同時,仍會為被推斷為富裕的用戶選擇更貴的航班、醫療保險或研究生課程。Claude Opus 4.8 的價差最高達每程航班 198 美元、保險每月 284 美元。
Arena.ai 表示,OpenAI 的 GPT-6 Sol(Max)在超過 4,000 場真實世界代理會話中錄得淨改善 +7.7%,每項任務中位數成本為 0.75 美元。它落後 Claude Fable 5(High)0.60 個百分點,而每項任務成本低 56%。
新總覽匯集新加入模型、分類表現、能力筆記同 Arena 新聞的即時訊號,並可顯示 GPT-6 Sol、Claude Opus 5.5 等模型的跨 arena 分數。
Arena.ai 表示,已生成 Anthropic 的 Claude Opus 5.5 與 OpenAI 的 GPT-6 Sol 的並排輸出,並指 Claude Opus 5.5 的分數即將公布。
在相同的 /design 提示下,Command Code 給 DeepSeek-V4.1-Flash 9/10、成本 0.024 美元,Mimo-V2.6-Flash 8/10、成本 0.018 美元,Grok-4.7 3/10、成本 0.35 美元。
Artificial Analysis 已擴展 Controlled Voice Arena,為日語、普通話、印地語、西班牙語、德語、法語、葡萄牙語、越南語和阿拉伯語分別設立文字轉語音排行榜。排名採用各語言原生提示、標準化克隆語音,以及母語者的偏好投票。
Controlled Voice Arena 現為日語、普通話、印地語、西班牙語、德語、法語、葡萄牙語、越南語及阿拉伯語的文字轉語音模型排名。Cartesia 的 Sonic 系列在九個榜單中的八個領先,Inworld AI 的 Realtime TTS-2 則在普通話榜排名第一。
OpenAI 的兩個模型現可在 Arena 測試,針對真實世界代理任務的投票會計入排行榜。Arena.ai 表示,petergostev 亦以相同提示詞、並將兩個模型都設為最高推理,比較了 GPT-6 Sol 與 GPT-5.6 Sol。
OpenAI 表示,將支持獨立評估,並在訓練、評估和部署各階段提供深入存取權;同時概述四個優先領域,以及嚴謹、安全且獨立工作的原則。