Theo의 1,000달러 DeepSWE 테스트, Jev Router는 low의 GPT-6 Astra와 비슷
Theo는 DeepSWE에서 Jev Router를 벤치마크하는 데 1,000달러를 썼다고 밝혔다. 성능은 low 설정의 GPT-6 Astra와 거의 같았고, 비용은 약간 더 들었으며, 실행 시간은 거의 5배 길었다고 전했다.
관련 AI 뉴스
Arena.ai, Agent Arena에서 4,700개 이상의 에이전트 세션을 통해 Jev Router 평가
Arena.ai가 Agent Arena에서 4,700개 이상의 에이전트 세션을 통해 typesafeai의 Jev Router를 평가한 결과, 현재의 파레토 프론티어를 개선하지는 못했으나 사용자 피드백에 따른 뛰어난 조종성을 입증했다고 밝혔다.
Scale Labs, 시각적 추론 벤치마크 Humanity's Sixth Sense 공개
Scale Labs가 일상적인 직관적 시각 추론을 평가하기 위해 이미지와 비디오 전반의 522개 개방형 작업으로 구성된 평가 벤치마크 Humanity's Sixth Sense를 공개했다.
GPT-6.1 Sol, Cline에서 이용 가능
Cline이 GPT-6.1 Sol을 제공한다. DeepSWE v1.1에서 Cline은 이 모델이 GPT-6 Astra와 동등하며 비용은 약 5분의 1이라고 밝혔다.
OpenAI, GPT-6 Luna의 DeepSWE v1.1 점수 66.6% 보고
OpenAI는 GPT-6 Luna가 DeepSWE v1.1에서 66.6%를 기록했으며, 중간 노력 수준에서 Claude Opus 5·Fable 5와 비슷한 수준이면서 작업당 비용은 93–96% 낮고, 더 높은 노력 수준에서는 사실성에서 GPT-5.6 Sol과 맞먹으면서 비용은 약 100분의 1이라고 밝혔다.
DeepLearning.AI, The Batch 통해 DeepSeek의 캐시 절감 및 Flash 벤치마크 결과 상세 분석
DeepLearning.AI는 The Batch에서 DeepSeek의 아키텍처를 분석하며, 토큰당 캐시가 890바이트로 DeepSeek-V1 대비 437배 축소되었다고 전했다. 또한 입력 토큰이 4K에서 1M으로 늘어날 때 출력 토큰당 연산량이 25% 증가하며, AA Index에서 Flash가 V4-Pro를 앞섰다고 짚었다.