Marin 535B-A23B 훈련 반환점 도달, 커널 최적화로 MFU 27% 달성

Percy Liang은 오픈 모델 Marin 535B-A23B의 메인 훈련(hero run)이 절반을 넘어섰다고 발표했다. 해당 모델은 Liang과 Marin Community 팀이 CoreWeave 인프라에서 개발하고 있으며, 모든 실행 변경 사항과 지표는 Weights & Biases를 통해 공개 추적된다.

Weights & Biases에 따르면, 이번 훈련의 홀드아웃 손실은 본 훈련 전에 진행된 4차례 소규모 테스트에서 도출된 예측치와 일치한다. 커널 최적화를 통해 MFU는 21%에서 27%로 개선되었다. 실행 지표와 변경 내역은 Weights & Biases 훈련 보고서에 기록되어 있다.