AI 뉴스
公司内部站点 · 页面资源保存在本地（2026-10-17 09:36 UTC）· 独立 X 采集尚未配置；互动计数仅限本站

Google Cloud, Cloud TPU에서 Ai2의 Olmo 3 7B 실행 결과와 일치

Ai2

Google Cloud는 Ai2의 Olmo 3 7B 사전학습과 중간 학습을 Cloud TPU에서 다시 실행했고, 이 실행 결과는 홀드아웃 평가에서 Ai2의 원래 결과와 일치했다고 Ai2가 밝혔다.

사례 연구는 MaxText에서 Olmo 3 7B 사전학습 재현으로 공개됐다.

#olmo-3#ai2#google-cloud#tpu#재현성

Ai2, 기본 가중치 유지한 바이트 레벨 모델 1단계 체크포인트 공개

Ai2가 바이트 레벨 언어 모델의 1단계 체크포인트를 공개했다. 기존 모델 가중치는 그대로 유지하면서 사전 학습된 바이트 구성 요소를 제공해, 연구진이 초기 단계를 다시 실행하지 않고도 새 아키텍처를 실험하고 시스템을 훈련할 수 있도록 했다.

Ai2, Marin 최신 hero run에 Dolma 3.5 토큰 약 1.8조 개 포함됐다고 밝혀

Ai2는 Marin의 최신 hero run에 자사 Dolma 3.5 코퍼스의 토큰 약 1.8조 개가 포함되며, Marin의 데이터 혼합 작업은 Ai2의 Olmix 레시피와 Organize the Web 큐레이션 방법론을 활용한다고 밝혔다. Will Held는 Marin의 535B run이 학습을 허용하는 라이선스의 데이터셋 152개에서 나온 토큰 25조 개로 구축됐다고 말했다.