Pedro Cuenca: tokenizers v1 (Rust)가 3~30배 더 빠르며, 곧 transformers에 적용 예정

Pedro Cuenca (@pcuenq)는 **tokenizers v1 (Rust)**가 3~30배 더 빠르며, 옵트아웃 토큰화 학습 crate, 추가 알고리즘 및 최적화, 광범위한 벤치마크가 포함된다고 밝혔다.

곧 transformers에 적용될 예정이라고 전했으며, Hugging Face 블로그 게시물을 링크했다: https://huggingface.co/blog/tokenizers-v1.