Google Cloud、Cloud TPUでAi2のOlmo 3 7Bの実行結果に一致

Ai22026/9/30 00:58:33

Google CloudはAi2のOlmo 3 7Bの事前学習と中間学習をCloud TPU上で再実行し、それらの実行はホールドアウト評価でAi2の当初の結果と一致したと、Ai2は述べている。

事例研究はMaxTextでOlmo 3 7Bの事前学習を再現として公開されている。

#olmo-3 #ai2 #google-cloud #tpu #再現性

Ai2、基本重みを維持したバイトレベルモデルのステージ1チェックポイントを公開

Ai2はバイトレベル言語モデルのステージ1チェックポイントを公開した。元のモデルの重みを維持したまま事前学習済みのバイトコンポーネントを提供し、研究者は初期段階を再実行することなく新アーキテクチャの実験やシステム全体の訓練を行える。

Ai2のバイト単位言語モデル論文がNatureに採択、QwenおよびLlamaのチェックポイントを公開

Ai2は、言語モデルをバイト単位で動作するように改変する手法に関する論文がNatureに採択されたと発表し、Bolmoの手法をQwenとLlamaに拡張した新たなチェックポイントを公開した。

Ai2は、Marinの最新hero runにDolma 3.5のトークン約1.8兆個が含まれるとしている

Ai2は、Marinの最新hero runに自社のDolma 3.5コーパスから約1.8兆トークンが含まれるとし、Marinのデータ混合の取り組みはAi2のOlmixレシピとOrganize the Webのデータキュレーション手法を踏まえているとしている。Will Heldは、Marinの535Bランが、学習を許可するライセンスの152データセットから得た25兆トークンで構築されたとしている。

Ai2とGlobalFishWatch、海洋監視と取締り向けのAI連携を発表

Climate Week NYCで、Ai2とGlobalFishWatchは、海洋監視と取締りにおけるAIおよびAIエージェントの活用をめぐる連携を発表した。Ai2は、この取り組みを用途に合わせて構築され、オープンで、利用者に対して説明責任を果たすものだと説明している。

Google、Project Suncatcher のもと TPU 4基を軌道上に投入する試験衛星を打ち上げ

Google は、自社の AI ハードウェアが宇宙空間で動作可能かを検証するため、TPU 4基を軌道上に投入する Project Suncatcher 初の試験衛星を打ち上げた。