Pedro Cuenca、llama.cppを介してRTX 6000とM5ノートPCでMiMo 2.6 Flashを実行
Pedro Cuencaは、10 GbE経由で接続したRTX 6000 GPUとM5ノートPCをまたぎ、llama.cppの標準サポートを活用してMiMo 2.6 Flashのネイティブmxfp4ウェイトを実行し、毎秒40トークンの推論速度を実証した。
#inference
すべてのAIニュースを見るPrime IntellectがPrime Inferenceを発表
Prime IntellectがPrime Inferenceを発表した。同社によると、強化学習や顧客の専用デプロイ向けにすでに数兆トークンを処理したという。
Jiantao Jiao、53タスクのNVIDIAベンチマークSWE-Serveを発表
Jiantao Jiaoは、NVIDIAのチームが、AIエージェントが推論エンジンを開発し、実際のモデルをサーブできるかを確かめるためSWE-Serveを構築したと述べている。このベンチマークは、sgl_projectの実際のエンジニアリング作業から取られた53のタスクで構成される。
SambaNova、SN50はRDUデコードを既存GPUと組み合わせてプレミアム推論を実現と発表
SambaNovaは、SN50がプリフィル用の既存GPUとRDUデコードを組み合わせてプレミアム推論向けに構築されていると述べました。同社は70%の課金可能稼働率の計画仮定で6ヶ月でのROIを挙げました。