Marin 535B-A23B 훈련 반환점 도달, 커널 최적화로 MFU 27% 달성
Percy Liang과 Marin Community 팀이 CoreWeave에서 진행 중인 오픈 모델 Marin 535B-A23B의 훈련 반환점에 도달했다. 커널 최적화로 MFU가 21%에서 27%로 향상되었으며, 홀드아웃 손실은 4차례 사전 테스트를 기반으로 한 예측치와 일치하고 있다.
#marin
모든 AI 뉴스 보기Ai2, Marin 최신 hero run에 Dolma 3.5 토큰 약 1.8조 개 포함됐다고 밝혀
Ai2는 Marin의 최신 hero run에 자사 Dolma 3.5 코퍼스의 토큰 약 1.8조 개가 포함되며, Marin의 데이터 혼합 작업은 Ai2의 Olmix 레시피와 Organize the Web 큐레이션 방법론을 활용한다고 밝혔다. Will Held는 Marin의 535B run이 학습을 허용하는 라이선스의 데이터셋 152개에서 나온 토큰 25조 개로 구축됐다고 말했다.