Pedro Cuenca、llama.cppを介してRTX 6000とM5ノートPCでMiMo 2.6 Flashを実行
Pedro Cuencaは、10 GbE経由でRTX 6000 GPUとM5ノートPCを組み合わせ、異種ハードウェア間でMiMo 2.6 Flashを実行できることを実証した。この構成で毎秒40トークンの推論速度を達成した。
この実行ではモデルのネイティブmxfp4ウェイトが直接使用され、llama.cppで標準機能としてサポートされている。
関連AIニュース
Pedro Cuenca：tokenizers v1（Rust）は3〜30倍高速、まもなくtransformersに登場
Pedro Cuenca氏は、tokenizers v1（Rust）が3〜30倍高速であり、オプトアウト可能なトークン化トレーニングcrate、追加の最適化、広範なベンチマークがあると述べた。同氏は、まもなくtransformersに登場すると述べた。
Prime IntellectがPrime Inferenceを発表
Prime IntellectがPrime Inferenceを発表した。同社によると、強化学習や顧客の専用デプロイ向けにすでに数兆トークンを処理したという。
Jiantao Jiao、53タスクのNVIDIAベンチマークSWE-Serveを発表
Jiantao Jiaoは、NVIDIAのチームが、AIエージェントが推論エンジンを開発し、実際のモデルをサーブできるかを確かめるためSWE-Serveを構築したと述べている。このベンチマークは、sgl_projectの実際のエンジニアリング作業から取られた53のタスクで構成される。
SambaNova、SN50はRDUデコードを既存GPUと組み合わせてプレミアム推論を実現と発表
SambaNovaは、SN50がプリフィル用の既存GPUとRDUデコードを組み合わせてプレミアム推論向けに構築されていると述べました。同社は70%の課金可能稼働率の計画仮定で6ヶ月でのROIを挙げました。