GigaToken: Rust Tokenizer 比 tiktoken 快千倍

• URL: https://www.threads.com/@weichih.ting/post/DbHnJrcIOe5
• Date Saved: 2026-07-23
• Source: Threads (@weichih.ting)
• Tags: dev-tools, ai-engineering
• Repo: https://github.com/marcelroed/gigatoken

Summary

HN 上熱傳的新 tokenizer 專案 GigaToken：

• 用 Rust 寫，pip 安裝即可當 HuggingFace / tiktoken 的 drop-in replacement
• 大機器上 GPT-2 tokenization 速度可達 GB/s（而非傳統的 MB/s）
• 核心技術：pretokenize SIMD + cache，減少 Python 來回調用的開銷
• 有 compatibility mode（輸出對齊原版但稍慢）

適用場景：資料前處理階段是瓶頸時（大量文本需要 tokenize）。