Ollama 現可在本機運行類 Jev 決策模型,包括 Nimble
Ollama 表示,類 Jev 決策模型現已可完全在本機上運行。Nimble 可透過指令 ollama pull nimble 安裝,並經由新的本地 /v1/systemone API 使用。
Ollama 表示,類 Jev 決策模型現已可完全在本機上運行。Nimble 可透過指令 ollama pull nimble 安裝,並經由新的本地 /v1/systemone API 使用。
Artificial Analysis 已開源 AA-AgentPerf-Local。該工具透過重放已記錄的智能體會話來量度本地推理速度,並公布四套系統的初步 4-bit 結果。在能裝入 32 GB 的模型上,GeForce RTX 5090 的完成速度比其他受測系統快 3.5 倍以上。
該模型完全在他的 Mac 上透過 Ollama 運行;據他所述,端到端分類任務約需 50 毫秒。權重和基準測試尚未公開,Hassan 表示兩者很快就會發布。