vLLMがPyNvVideoCodecを統合し、動画デコードをGPU NVDECにオフロード
vLLMは、動画デコードをCPUからGPUのNVDECにオフロードするためPyNvVideoCodecを統合したと述べた。
プロジェクトによると、結果は8×H100で2倍以上のスループットとなり、CPUのボトルネックがなくなったという。これは大規模な動画キャプション（AVトレーニング、メタデータ）に重要であり、CUDA vLLMリリースに同梱されると述べた。
関連AIニュース
Ramine Roane 氏、AMD は 90 日間に vLLM コアへ 502 件コミットしたと述べる
Ramine Roane 氏は、AMD が現在 vLLM へのコード貢献で首位の企業だとし、90 日間のコアコミットは 502 件、全組織による貢献の 13% で、Nvidia の 4 倍近くだと述べた。同氏は Red Hat、IBM、Embedded LLM、Inferact の功績も認めた。
Google Gemma は、vLLM で DiffusionGemma を Jev のように動作させられると述べている
Google Gemma によると、vLLM で応答テンプレートを使ってキャンバスを初期化すると、DiffusionGemma は1回のデノイジングステップで、はい／いいえ、多肢選択、スコア付きの質問について信頼度スコアと確率分布を返せる。
PyTorch FoundationのブログがvLLM向けのハードウェア非依存レイヤーを紹介
IBM、Meta、Hugging Faceのコントリビューターが、多様なハードウェア上で多様なモデルを実行するユーザー向けに、最先端の性能と移植性の両立を目指すハードウェア非依存レイヤーを紹介する。
Qwen-Image-2.1がvLLM-Omniでday-0サポートを獲得
vLLMは、@Alibaba_QwenのQwen-Image-2.1がvLLM-Omniでday-0サポートを得たと述べ、生成、編集、透明画像向けの7.1B DiTとQwen3-VL-8Bの組み合わせだと説明した。QwenはvLLMに感謝し、1つのモデルですぐにサーブできると述べた。