Pedro Cuenca：tokenizers v1 (Rust) 快 3 至 30 倍，即將登陸 transformers

Pedro Cuenca（@pcuenq）表示 tokenizers v1 (Rust) 快 3 至 30 倍，設有 可選擇退出的 tokenization 訓練 crate、額外演算法及優化，以及廣泛基準測試。

他表示 即將登陸 transformers，並附上 Hugging Face 網誌文章：https://huggingface.co/blog/tokenizers-v1。