Aleph Alpha 以 Apache 2.0 发布 Kolibri 权重
Aleph Alpha 的 Kolibri 拥有 780 亿参数,其中 34.6 亿为激活参数,上下文窗口最长可达 100 万 token。权重以 Apache 2.0 许可提供,可在本地硬件上运行。
Aleph Alpha 的 Kolibri 拥有 780 亿参数,其中 34.6 亿为激活参数,上下文窗口最长可达 100 万 token。权重以 Apache 2.0 许可提供,可在本地硬件上运行。
NCP-ArchPreview以Apache 2.0许可发布。两家实验室报告,该模型在5.73万亿个Dolma 3 token上训练后,仅用51.3%的token即达到OLMo-3-7B的最终Stage 1损失,收敛速度提升1.95倍。