#ai2

Ai2가 바이트 레벨 언어 모델의 1단계 체크포인트를 공개했다. 기존 모델 가중치는 그대로 유지하면서 사전 학습된 바이트 구성 요소를 제공해, 연구진이 초기 단계를 다시 실행하지 않고도 새 아키텍처를 실험하고 시스템을 훈련할 수 있도록 했다.

Ai2 바이트 단위 언어 모델 논문 Nature 게재 승인, Qwen 및 Llama 체크포인트 공개

Ai2는 언어 모델을 바이트 단위로 작동하도록 개조하는 기술에 관한 논문이 Nature에 게재 승인되었다고 발표했으며, Bolmo 방식을 Qwen 및 Llama로 확장한 신규 체크포인트를 함께 공개했다.

Ai2, MoE 훈련을 위한 Olmo-core 강화 기술 보고서 발표

Ai2가 확장 가능하고 효율적인 MoE 모델 훈련을 다룬 기술 보고서 'Supercharging Olmo-core for Efficient and Scalable MoE Training'을 발표했다.

Google Cloud, Cloud TPU에서 Ai2의 Olmo 3 7B 실행 결과와 일치

Ai2에 따르면, Google Cloud는 Olmo 3의 7B 사전학습과 중간 학습을 Cloud TPU에서 다시 실행했으며, 홀드아웃 평가에서 원래 실행 결과와 일치했다.

Ai2, Marin 최신 hero run에 Dolma 3.5 토큰 약 1.8조 개 포함됐다고 밝혀

Ai2는 Marin의 최신 hero run에 자사 Dolma 3.5 코퍼스의 토큰 약 1.8조 개가 포함되며, Marin의 데이터 혼합 작업은 Ai2의 Olmix 레시피와 Organize the Web 큐레이션 방법론을 활용한다고 밝혔다. Will Held는 Marin의 535B run이 학습을 허용하는 라이선스의 데이터셋 152개에서 나온 토큰 25조 개로 구축됐다고 말했다.

Ai2와 GlobalFishWatch, 해양 모니터링과 단속을 위한 AI 파트너십 발표

Climate Week NYC에서 Ai2와 GlobalFishWatch는 해양 모니터링과 단속에 AI와 AI 에이전트를 어떻게 활용할지에 관한 파트너십을 발표했다. Ai2는 이 노력을 목적에 맞게 구축되고, 개방적이며, 실제 사용자에게 책임을 지는 작업으로 설명한다.