Ollama, Nimble을 포함한 Jev형 의사결정 모델을 로컬에서 실행
Ollama에 따르면 Jev형 의사결정 모델이 이제 로컬 머신에서 완전히 실행된다. Nimble은 ollama pull nimble 명령으로 설치할 수 있으며, 새로운 로컬 /v1/systemone API로 사용할 수 있다.
#local-inference
모든 AI 뉴스 보기Artificial Analysis, 노트북과 워크스테이션 추론용 AA-AgentPerf-Local 오픈소스 공개
Artificial Analysis가 기록된 에이전트 세션을 재생해 로컬 추론 속도를 측정하는 AA-AgentPerf-Local을 오픈소스로 공개하고, 네 개 시스템의 초기 4-bit 결과를 발표했다. 32GB에 들어가는 모델에서 GeForce RTX 5090은 테스트한 다른 시스템보다 3.5배 넘게 빠르게 작업을 마쳤다.
Hassan, 초소형 Jev 유사 분류기 Tev1 0.8B를 학습
이 모델은 Ollama를 통해 그의 Mac에서 완전히 실행되며, 그의 설명에 따르면 작업을 종단 간 약 50ms에 분류한다. 가중치와 벤치마크는 아직 공개되지 않았고, Hassan은 둘 다 곧 공개할 예정이라고 밝혔다.