EverMind AI, 모델 하네스를 진화시키는 오픈소스 시스템 Raven 공개
DAIR.AI는 EverMind AI의 오픈소스 멀티 에이전트 시스템 Raven을 소개한다. Raven은 모델과 도메인마다 별도의 하네스를 구축하고 실패로부터 이를 진화시킨다. DeepSeek-V4-Flash에서는 연구용 하네스가 BrowseComp에서 69.3%, Humanity's Last Exam에서 60.0%를 기록했다.
DAIR.AI는 EverMind AI의 오픈소스 멀티 에이전트 시스템 Raven을 소개한다. Raven은 모델과 도메인마다 별도의 하네스를 구축하고 실패로부터 이를 진화시킨다. DeepSeek-V4-Flash에서는 연구용 하네스가 BrowseComp에서 69.3%, Humanity's Last Exam에서 60.0%를 기록했다.
DAIR.AI는 Microsoft와 공동 연구자들의 논문 ActiveSaddler를 소개한다. 이 논문은 에이전트 하네스를 최적화하는 데 사용되는 시나리오를 바꾼다. 동일한 최적화기에서 고정된 시나리오 순서와 비교해 테스트 Pass@1이 GAIA2에서 4.4점, Terminal-Bench 2.0에서 7.5점 향상된다.
Google과 동료들의 논문은 최적화된 에이전트 하네스를 학습 중에만 쓰는 Harness-Zero를 설명한다. 해당 하네스를 제거한 뒤 매크로 작업 성공률은 23.3%에서 44.3%로 올랐으며, 이는 하네스를 붙인 기본 모델이 도달한 41.7%보다 높다.