OllamaがJev型の意思決定モデルをローカルで実行可能に、Nimbleを含む
Ollamaによると、Jev型の意思決定モデルがローカルマシン上で完全に動作するようになった。Nimbleはコマンド ollama pull nimble でインストールでき、新しいローカル /v1/systemone API から利用できる。
#local-inference
すべてのAIニュースを見るArtificial Analysis、ノートPCとワークステーション向け推論テスト AA-AgentPerf-Local をオープンソース化
Artificial Analysis は、記録済みのエージェントセッションを再生してローカル推論速度を測る AA-AgentPerf-Local をオープンソース化し、4つのシステムについて初期の 4-bit 結果を公開した。32 GB に収まるモデルでは、GeForce RTX 5090 が他のテスト対象システムより 3.5 倍超速く完了した。
HassanがTev1 0.8Bを訓練、Jevに似た小型分類器
このモデルはOllamaを通じてHassanのMac上で完全に動作し、本人の説明ではタスク分類をエンドツーエンドで約50ミリ秒で行う。重みとベンチマークはまだ公開されておらず、Hassanは両方を近いうちに公開すると述べている。