Ai2 发布第一阶段字节级模型检查点，保留原始基础权重
Ai2 现已推出新的第一阶段检查点，其中字节级组件已经过训练，而原始模型权重保持不变。这些中间检查点源自其将现有语言模型改造为按字节运行的方案。
通过提供第一阶段结束时的检查点，Ai2 使研究人员能够直接测试新架构并训练完整系统，无需重复初始适配阶段。
相关AI快讯
Ai2 字节级语言模型论文获 Nature 接收，并发布 Qwen 与 Llama 检查点
Ai2 宣布其关于改造语言模型以使其在字节级别运行的论文已被 Nature 接收，同时发布了将 Bolmo 方法扩展至 Qwen 和 Llama 的新检查点。
Google Cloud 在 Cloud TPU 上复现 Ai2 的 Olmo 3 7B 训练结果
Ai2 表示，Google Cloud 在 Cloud TPU 上重新运行了 Olmo 3 的 7B 预训练和中期训练，并在留出评估中与原训练结果一致。
Ai2 称 Marin 最新 hero run 包含约 1.8 万亿个 Dolma 3.5 token
Ai2 称，Marin 最新 hero run 包含其 Dolma 3.5 语料库中约 1.8 万亿个 token，且 Marin 的数据配比工作借鉴了 Ai2 的 Olmix 配方和 Organize the Web 数据整理方法。Will Held 称，Marin 的 535B 训练基于 152 个许可允许用于训练的数据集，共计 25 万亿个 token。
Ai2 与 GlobalFishWatch 宣布人工智能合作，用于海洋监测与执法
在纽约气候周上，Ai2 与 GlobalFishWatch 宣布一项合作，探讨人工智能及 AI 智能体如何用于海洋监测与执法。Ai2 称这项工作是专门打造、开放，并对使用者负责。
Marin 535B-A23B 训练进度过半，内核优化推动 MFU 升至 27%
Percy Liang 与 Marin Community 团队在 CoreWeave 上训练的开源模型 Marin 535B-A23B 已过半。内核优化使 MFU 从 21% 提升至 27%，留出损失符合基于四次前期试验作出的预测。