turbovec — TurboQuant 向量壓縮引擎

• URL: https://www.threads.com/@fennyhsu1936/post/Da5DyakEcvA
• Date Saved: 2026-07-18
• Source: Threads
• Tags: ai-engineering, dev-tools
• Repo: https://github.com/RyanCodrai/turbovec (13.4k stars)

Summary

turbovec 是一個用 Rust 寫的向量索引引擎，實作了 Google Research 在 ICLR 2026 發表的 TurboQuant 演算法。核心概念：對每個向量做隨機旋轉後，每個維度的分佈變成已知的 Beta 分佈，再用最優的 Lloyd-Max 量化器壓縮。

關鍵數據

• 1000 萬筆文件用 float32 需 31GB RAM → turbovec 只需 4GB
• 2-bit 壓縮 16 倍（586MB → 37MB）
• ARM 上搜尋比 FAISS 快 10-19%
• 不需要訓練步驟，資料加入即可搜尋
• 支援過濾搜尋（allowlist），SIMD 層級直接跳過不符合條件的資料

為什麼重要

傳統 PQ (Product Quantization) 需要先跑 k-means 建 codebook，TurboQuant 直接用數學算出最優的量化邊界，資料進來就編碼不用等。對 RAG 應用來說，這大幅降低了向量資料庫的記憶體需求和部署成本。