Aleph Alpha 以 Apache 2.0 發布 Kolibri 權重
Aleph Alpha 的 Kolibri 擁有 780 億參數,其中 34.6 億為激活參數,上下文視窗最長可達 100 萬 token。權重以 Apache 2.0 授權提供,可在本地硬件上運行。
Aleph Alpha 的 Kolibri 擁有 780 億參數,其中 34.6 億為激活參數,上下文視窗最長可達 100 萬 token。權重以 Apache 2.0 授權提供,可在本地硬件上運行。
NCP-ArchPreview 以 Apache 2.0 授權發布。實驗室報告,模型在 5.73 萬億個 Dolma 3 token 上訓練後,以 51.3% 的 token 用量達到 OLMo-3-7B 的最終 Stage 1 損失,收斂增益為 1.95 倍。