#local-inference

Ollama 现可在本地运行类 Jev 决策模型，包括 Nimble

Ollama 表示，类 Jev 决策模型现已可完全在本地机器上运行。Nimble 可通过命令 ollama pull nimble 安装，并经由新的本地 /v1/systemone API 使用。

Artificial Analysis 已开源 AA-AgentPerf-Local。该工具通过重放已记录的智能体会话来测量本地推理速度，并公布了四套系统的初步 4-bit 结果。在能装入 32 GB 的模型上，GeForce RTX 5090 的完成速度比其他受测系统快 3.5 倍以上。

该模型完全在他的 Mac 上通过 Ollama 运行；据他所说，端到端任务分类约需 50 毫秒。权重和基准测试尚不可用，Hassan 表示两者很快就会发布。