Marin 535B-A23B 訓練進度過半，核心優化推動 MFU 升至 27%
Percy Liang 與 Marin Community 團隊在 CoreWeave 上訓練的開源模型 Marin 535B-A23B 已過半。核心優化使 MFU 由 21% 提升至 27%，留出損失符合基於四次前期試驗作出的預測。
#marin
查看全部AI快訊Ai2 表示 Marin 最新 hero run 包含約 1.8 萬億個 Dolma 3.5 token
Ai2 表示，Marin 最新 hero run 包含來自其 Dolma 3.5 語料庫的約 1.8 萬億個 token，而 Marin 的數據混合工作借鑑了 Ai2 的 Olmix 配方及 Organize the Web 數據整理方法。Will Held 表示，Marin 的 5350 億參數訓練以 152 個許可用於訓練的數據集、共 25 萬億個 token 為基礎。