Marin 535B-A23Bの訓練が中間地点に到達、カーネル更新でMFUは27%に向上
Percy Liang氏とMarin CommunityチームがCoreWeave上で進めるオープンモデル「Marin 535B-A23B」の訓練が中間地点に達した。カーネル改善によりMFUは21%から27%に向上し、ホールドアウト損失は事前に行った4回のテストに基づく予測通りに推移している。
#marin
すべてのAIニュースを見るAi2は、Marinの最新hero runにDolma 3.5のトークン約1.8兆個が含まれるとしている
Ai2は、Marinの最新hero runに自社のDolma 3.5コーパスから約1.8兆トークンが含まれるとし、Marinのデータ混合の取り組みはAi2のOlmixレシピとOrganize the Webのデータキュレーション手法を踏まえているとしている。Will Heldは、Marinの535Bランが、学習を許可するライセンスの152データセットから得た25兆トークンで構築されたとしている。