SambaNova、SN50はRDUデコードを既存GPUと組み合わせてプレミアム推論を実現と発表
SambaNovaは、SN50がプレミアム推論向けに構築されており、RDUデコードを既存のGPUと組み合わせてプリフィルを行うと述べました。
同社は、6ヶ月でのROIを70%の課金可能稼働率の計画仮定で挙げ、ブログ https://bit.ly/4roRVpL にリンクしました。
関連AIニュース
SambaNova、SambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始
SambaNovaはSambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始した。コード変更なしで入力コストを90%削減して100万キャッシュトークンあたり0.06ドルにし、最初のトークン生成時間（TTFT）を35%〜88%改善する。
Pedro Cuenca、llama.cppを介してRTX 6000とM5ノートPCでMiMo 2.6 Flashを実行
Pedro Cuencaは、10 GbE経由で接続したRTX 6000 GPUとM5ノートPCをまたぎ、llama.cppの標準サポートを活用してMiMo 2.6 Flashのネイティブmxfp4ウェイトを実行し、毎秒40トークンの推論速度を実証した。
Prime IntellectがPrime Inferenceを発表
Prime IntellectがPrime Inferenceを発表した。同社によると、強化学習や顧客の専用デプロイ向けにすでに数兆トークンを処理したという。
Jiantao Jiao、53タスクのNVIDIAベンチマークSWE-Serveを発表
Jiantao Jiaoは、NVIDIAのチームが、AIエージェントが推論エンジンを開発し、実際のモデルをサーブできるかを確かめるためSWE-Serveを構築したと述べている。このベンチマークは、sgl_projectの実際のエンジニアリング作業から取られた53のタスクで構成される。