Aleph Alpha, Kolibri 가중치를 Apache 2.0으로 공개
Aleph Alpha의 Kolibri는 파라미터 780억 개, 활성 파라미터 34.6억 개이며, 컨텍스트 창은 최대 100만 토큰이다. 가중치는 Apache 2.0으로 제공되며 로컬 하드웨어에서 실행할 수 있다.
#apache-2-0
모든 AI 뉴스 보기Shanghai AI Lab과 SJTU LUMIA Lab, 8.9B 오픈 웨이트 모델 NCP-ArchPreview 공개
NCP-ArchPreview가 Apache 2.0으로 공개됐다. 두 연구소는 Dolma 3 토큰 5.73조 개로 학습한 뒤, 토큰의 51.3%만으로 OLMo-3-7B의 최종 Stage 1 손실에 맞춰 수렴 이득이 1.95배라고 밝혔다.