#benchmarks

DeepLearning.AI 於 The Batch 詳解 DeepSeek 快取縮減與 Flash 基準測試表現

DeepLearning.AI 於最新一期 The Batch 分析了 DeepSeek 的架構，指出其每個 token 的快取縮減至 890 位元組，比 DeepSeek-V1 縮小了 437 倍。分析亦指出，當輸入從 4K 擴展至 1M token 時，每個輸出 token 的運算量增加了 25%，並指出 Flash 於 AA Index 基準測試的得分超越 V4-Pro。

Arena.ai 於 Agent Arena 透過逾 4,700 場 Agent 會話評估 Jev Router

Arena.ai 於 Agent Arena 針對 typesafeai 開發的 Jev Router 進行了逾 4,700 場 Agent 會話評估，發現雖然該路由器未有突破現有的柏拉圖前沿，但在響應使用者反饋方面展現出出色的可引導性。

Hamed Nilforoshan 為 HiringCafe 基準測試 OpenAI Decisions API 與 Jev

Hamed Nilforoshan 於 HiringCafe 評估 OpenAI Decisions API 與 Jev 的表現，結果顯示 OpenAI 的 API 成本高出一倍，在職位查詢相關性排序上落後 5% 至 10%。

研究發現精簡 Agent 框架提示詞與工具最多可降低 3 倍成本

一項在 SWE-bench Verified 上使用相同模型對比 Claude Code、mini-SWE-agent 與 OpenCode 的研究發現，精簡框架提示詞和工具定義可在不降低準確率的前提下，將成本最高降低 3 倍。

Scale Labs 推出視覺推理基準 Humanity's Sixth Sense

Scale Labs 推出評估基準 Humanity's Sixth Sense，包含涵蓋圖像與影片的 522 項開放式任務，以測試日常直覺視覺推理能力。

Artificial Analysis 在其智能指數中為 Claude Haiku 5.5 評出 43 分

Artificial Analysis 為 Claude Haiku 5.5 評出 43 分，較上一代 Haiku 提高 26 分，並報告其具備 100 萬 token 上下文窗口。評測結果亦涵蓋 token 用量、終端任務、事實準確度，以及該機構指可能被低估的 AutomationBench 得分。

NVIDIA 論文提出 VERA 架構，協同演進 Agent Harness 與模型

NVIDIA 一篇研究論文介紹了 VERA 系統。該系統將基準軌跡轉化為 9,000 多個具備評分標準的可重啟沙盒，同時協同演進 Agent Harness 與模型權重。團隊開源了該環境語料庫，並表示 27B Agent 在 AutoCoWorkBench 取得 71.6 分，超越 Claude Opus 4.8。

Mistral AI 公布 Mistral Large 4 於 AutomationBench 上的 657 項工作流程測試結果

Mistral AI 公布了 AutomationBench 評測結果。在模擬辦公應用的 657 項業務工作流程中，Mistral Large 4 完成了測試，表現領先於 Kimi K3、MiMo-V2.6-Pro 和 DeepSeek V4 Pro。

Mistral Large 4 位列 Code Arena: WebDev 榜單第 45 位

Mistral Large 4 以 1,534 分登陸 Arena.ai 的 Code Arena: WebDev 榜單第 45 位，與 Claude Opus 4.8 (High) 差距僅 2 分，混合 Token 成本約為後者的六分之一。

Google Nano Banana 2.1 登上 Arena.ai 圖像生成與編輯榜單

Arena.ai 將 Google 的 Nano Banana 2.1 納入其文生圖、圖像編輯和多圖編輯競技場；該模型在多圖編輯中排名第四，在文生圖中排第五，在圖像編輯中排第六。

Mistral Large 4 在網絡安全基準測試超越 Opus 5.5 與 GPT-6 Astra

Cline 報告指出，Mistral Large 4 在網絡安全基準測試中表現優於 Opus 5.5 與 GPT-6 Astra，主因是競爭模型有約 40% 的任務遭安全過濾器攔截。

GitHub 推出開源基準 ReviewBench，用於評估 AI 代碼審查工具

GitHub 發布開源基準 ReviewBench，旨在評估 AI 代碼審查 Agent 能否在不產生雜訊的情況下識別關鍵問題。該基準基於涵蓋 19 種語言的 219 個 Pull Request。

Mistral Large 4 在網絡安全 CTF 競速賽中攻破 19 項挑戰中的 18 項

Mistral AI 表示，Mistral Large 4 在基於實際運行環境的奪旗賽（CTF）競速測試中透過工具調用攻破了 19 項挑戰中的 18 項。

jev Decision Index v0.3 引入私有評估集並新增視覺支援

Apolinário 於 Hugging Face Spaces 發布 jev Decision Index v0.3，推出了包含私有評估拆分集的經修訂基準測試套件，用以追蹤公開基準之外的模型能力，並新增了視覺支援。

Artificial Analysis 評測 Mistral Large 4：支援 512k 上下文並公佈 API 定價

Artificial Analysis 評測了 Mistral Large 4 Preview，該模型在 Intelligence Index 得分為 38，在 Cyber Index 為 50%。Mistral AI 為這款 512k 上下文模型定價為每 100 萬輸入 token 1.36 美元、每 100 萬輸出 token 4.18 美元，首兩週提供半價優惠。

Lambda 於模型卡加入 NVIDIA AI AIPerf 基準測試

Lambda 更新了模型卡，加入在 Lambda 最低硬件配置下使用 NVIDIA AI 的 AIPerf 套件測得的服務基準，呈現不同用戶並發閾值下的部署表現。

螞蟻集團發布 Ling 3.1 Flash，於 Artificial Analysis 智能指數獲 41 分

螞蟻集團發布了推理模型 Ling 3.1 Flash，具備 5,600 億總參數及 100 萬 token 上下文窗口。Artificial Analysis 於其智能指數 v4.3 給予該模型 41 分，指出其在 Agent 表現與 token 效率上有顯著改善。

Black Forest Labs 稱 FLUX 3 在 Google DeepMind 的 Physics-IQ 基準測試中名列第一

Black Forest Labs 宣布，FLUX 3 在評估影片模型物理世界理解能力的 Google DeepMind Physics-IQ 基準測試中榮登首位，超越包括 Sora 2、Veo 3.1 和 Cosmos3 在內的前沿系統。

Artificial Analysis 測得 OpenAI Web Search 單任務耗時約 31 秒

Artificial Analysis 測試顯示，OpenAI Web Search 的單任務耗時約為 31 秒，在 26 款受測產品中位列第 14 名。由於 OpenAI 並未直接公佈搜尋延遲，測試團隊透過串流事件測算得出該數據。

Artificial Analysis 搜尋指數給予 OpenAI Web Search 74 分

Artificial Analysis 在其搜尋指數（Search Index）測試了 OpenAI Web Search。該工具取得 74 分，在供應商中排第 5，在 26 款測試產品中排第 7。在運行中等推理強度的 GPT-5.6 Luna 時，此內置搜尋工具平均每項任務花費約 0.05 美元。