Ai2 位元組級語言模型論文獲 Nature 接收，並釋出 Qwen 與 Llama 檢查點
Ai2 宣佈，其關於改造語言模型以在位元組層級運作的論文已獲 Nature 接收，該技術是 Bolmo 的底層架構。
Ai2 亦釋出新的模型檢查點，將位元組級改造方法從 Olmo 擴展至 Qwen 與 Llama。
相關AI快訊
Ai2 發布第一階段位元組級模型檢查點，保留原始基礎權重
Ai2 發布了位元組級語言模型的第一階段檢查點。該檢查點在保留原始模型權重不變的同時提供預訓練位元組組件，讓研究人員無需重新運行初始階段即可測試新架構並訓練系統。
Google Cloud 在 Cloud TPU 上重現 Ai2 的 Olmo 3 7B 訓練結果
Ai2 表示，Google Cloud 在 Cloud TPU 上重新執行了 Olmo 3 的 7B 預訓練和中期訓練，並在留出評估中與原本訓練結果一致。
Ai2 表示 Marin 最新 hero run 包含約 1.8 萬億個 Dolma 3.5 token
Ai2 表示，Marin 最新 hero run 包含來自其 Dolma 3.5 語料庫的約 1.8 萬億個 token，而 Marin 的數據混合工作借鑑了 Ai2 的 Olmix 配方及 Organize the Web 數據整理方法。Will Held 表示，Marin 的 5350 億參數訓練以 152 個許可用於訓練的數據集、共 25 萬億個 token 為基礎。
Ai2 與 GlobalFishWatch 宣布就海洋監測與執法建立 AI 合作
在紐約氣候週，Ai2 與 GlobalFishWatch 宣布合作，探討如何在海洋監測與執法中運用 AI 與 AI 代理。Ai2 形容這項工作專為實際用途而設、保持開放，並對使用者負責。
Ai2 發布技術報告，優化 Olmo-core 以支援 MoE 訓練
Ai2 發布題為《Supercharging Olmo-core for Efficient and Scalable MoE Training》的技術報告，重點介紹高效且具擴展性的 MoE 模型訓練。