Marin 535B-A23B 훈련 반환점 도달, 커널 최적화로 MFU 27% 달성
Percy Liang과 Marin Community 팀이 CoreWeave에서 진행 중인 오픈 모델 Marin 535B-A23B의 훈련 반환점에 도달했다. 커널 최적화로 MFU가 21%에서 27%로 향상되었으며, 홀드아웃 손실은 4차례 사전 테스트를 기반으로 한 예측치와 일치하고 있다.
#open-source-ai
모든 AI 뉴스 보기Ai2, 기본 가중치 유지한 바이트 레벨 모델 1단계 체크포인트 공개
Ai2가 바이트 레벨 언어 모델의 1단계 체크포인트를 공개했다. 기존 모델 가중치는 그대로 유지하면서 사전 학습된 바이트 구성 요소를 제공해, 연구진이 초기 단계를 다시 실행하지 않고도 새 아키텍처를 실험하고 시스템을 훈련할 수 있도록 했다.
Reflection, 501B 파라미터 오픈 에이전트 모델 Beam 공개
Reflection이 총 파라미터 501B, 활성 파라미터 23B 규모의 오픈 에이전트 AI 모델 Beam을 발표했다. 전체 가중치는 이번 달에 공개될 예정이며, Ollama 또한 더 많은 미국 모델이 플랫폼에 추가될 것이라고 밝혔다.
Command Code, 오픈 의사결정 모델 Agr 및 Agr-flash 출시
Command Code가 코딩 에이전트의 도구 호출 및 라우팅을 위해 설계된 오픈 의사결정 모델 Agr(31B)과 Agr-flash(360M)를 출시했다. 두 모델은 Decision Index 0.2.1에서 58.15점을 기록했고 TypeSafe SDK를 지원하며 Hugging Face에 공개되었다.
허깅페이스 허브, 강화학습 환경 호스팅 지원
강화학습 환경을 허깅페이스 허브에서 직접 호스팅할 수 있게 되었으며, 기존 데이터셋 인프라를 활용해 프레임워크 전반의 저장, 버전 관리, 접근 제어, 미리보기 기능을 지원한다.