Pedro Cuenca：tokenizers v1（Rust）は3〜30倍高速、まもなくtransformersに登場

Pedro Cuenca（@pcuenq）氏は、tokenizers v1（Rust）が3〜30倍高速であり、オプトアウト可能なトークン化トレーニングcrate、追加のアルゴリズムと最適化、および広範なベンチマークがあると述べた。

同氏はまもなくtransformersに登場すると述べ、Hugging Faceのブログ記事をリンクした：https://huggingface.co/blog/tokenizers-v1。