Lambda、モデルカードにNVIDIA AIのAIPerfベンチマークを追加
Lambdaはモデルカードを更新し、最小構成のLambdaハードウェア上でNVIDIA AIのAIPerfパッケージを用いて測定したサービングベンチマークを追加した。ユーザー並行数のしきい値に応じたデプロイの挙動を示す。
Lambdaはモデルカードを更新し、最小構成のLambdaハードウェア上でNVIDIA AIのAIPerfパッケージを用いて測定したサービングベンチマークを追加した。ユーザー並行数のしきい値に応じたデプロイの挙動を示す。
1億パラメータのこのモデルは、声が重なる場合を含め、誰がいつ話したかを追跡し、最大8人の話者に対応する。huggingfaceで利用できる。
Nemotron 3 DiarizationはHugging Face Spaceで試せる。Hugging Faceのブログでは、モデルの仕組みと始め方を紹介している。