Ai2 表示 Marin 最新 hero run 包含約 1.8 萬億個 Dolma 3.5 token
Ai2 表示，Marin 最新 hero run 包含來自 Ai2 Dolma 3.5 語料庫的約 1.8 萬億個 token。Ai2 亦表示，Marin 的數據混合工作借鑑其 Olmix 配方及 Organize the Web 數據整理方法。
Will Held 表示，Marin 的 5350 億參數訓練以 152 個許可用於訓練的數據集、共 25 萬億個 token 為基礎。
相關AI快訊
Ai2 發布第一階段位元組級模型檢查點，保留原始基礎權重
Ai2 發布了位元組級語言模型的第一階段檢查點。該檢查點在保留原始模型權重不變的同時提供預訓練位元組組件，讓研究人員無需重新運行初始階段即可測試新架構並訓練系統。
Ai2 位元組級語言模型論文獲 Nature 接收，並釋出 Qwen 與 Llama 檢查點
Ai2 宣佈其關於改造語言模型以在位元組層級運作的論文已獲 Nature 接收，同時釋出了將 Bolmo 方法擴展至 Qwen 與 Llama 的新檢查點。
Google Cloud 在 Cloud TPU 上重現 Ai2 的 Olmo 3 7B 訓練結果
Ai2 表示，Google Cloud 在 Cloud TPU 上重新執行了 Olmo 3 的 7B 預訓練和中期訓練，並在留出評估中與原本訓練結果一致。
Ai2 與 GlobalFishWatch 宣布就海洋監測與執法建立 AI 合作
在紐約氣候週，Ai2 與 GlobalFishWatch 宣布合作，探討如何在海洋監測與執法中運用 AI 與 AI 代理。Ai2 形容這項工作專為實際用途而設、保持開放，並對使用者負責。
Marin 535B-A23B 訓練進度過半，核心優化推動 MFU 升至 27%
Percy Liang 與 Marin Community 團隊在 CoreWeave 上訓練的開源模型 Marin 535B-A23B 已過半。核心優化使 MFU 由 21% 提升至 27%，留出損失符合基於四次前期試驗作出的預測。