Google Cloud 在 Cloud TPU 上重現 Ai2 的 Olmo 3 7B 訓練結果
Google Cloud 在 Cloud TPU 上重新執行了 Ai2 的 Olmo 3 7B 預訓練和中期訓練，這些執行在留出評估中與 Ai2 的原始結果一致，Ai2 表示。
案例研究發布為 在 MaxText 中重現 Olmo 3 7B 預訓練。
相關AI快訊
Ai2 發布第一階段位元組級模型檢查點，保留原始基礎權重
Ai2 發布了位元組級語言模型的第一階段檢查點。該檢查點在保留原始模型權重不變的同時提供預訓練位元組組件，讓研究人員無需重新運行初始階段即可測試新架構並訓練系統。
Ai2 位元組級語言模型論文獲 Nature 接收，並釋出 Qwen 與 Llama 檢查點
Ai2 宣佈其關於改造語言模型以在位元組層級運作的論文已獲 Nature 接收，同時釋出了將 Bolmo 方法擴展至 Qwen 與 Llama 的新檢查點。
Ai2 表示 Marin 最新 hero run 包含約 1.8 萬億個 Dolma 3.5 token
Ai2 表示，Marin 最新 hero run 包含來自其 Dolma 3.5 語料庫的約 1.8 萬億個 token，而 Marin 的數據混合工作借鑑了 Ai2 的 Olmix 配方及 Organize the Web 數據整理方法。Will Held 表示，Marin 的 5350 億參數訓練以 152 個許可用於訓練的數據集、共 25 萬億個 token 為基礎。
Ai2 與 GlobalFishWatch 宣布就海洋監測與執法建立 AI 合作
在紐約氣候週，Ai2 與 GlobalFishWatch 宣布合作，探討如何在海洋監測與執法中運用 AI 與 AI 代理。Ai2 形容這項工作專為實際用途而設、保持開放，並對使用者負責。
Google 在 Project Suncatcher 項目下發射搭載 4 顆 TPU 的測試衛星入軌
Google 發射了首顆 Project Suncatcher 測試衛星，將 4 顆 TPU 送入軌道，以測試其 AI 硬件能否在太空環境中運作。