WeChat (李轻水)
ai-engineeringdev-tools
Original source

Zvec:阿里开源的嵌入式向量数据库 — 向量检索的 SQLite

Summary

阿里巴巴 2026年2月开源 Zvec — 基于内部跑了5年的 Proxima 向量引擎,封装成 pip install zvec 即可使用的嵌入式向量数据库。类比 SQLite 之于 MySQL,Zvec 让向量检索不再需要起服务/Docker/daemon。

核心卖点

  • 三行代码即可使用,单文件 .zvec 存储
  • Apache 2.0 开源,GitHub ~9,300 stars
  • 底层是 Proxima(淘宝搜索、支付宝刷脸、优酷搜索等生产验证5年+)

功能亮点

  • WAL 预写日志 + 崩溃恢复(SQLite 级可靠性)
  • 标量过滤下推(引擎层执行,非 Python 侧过滤)
  • 混合搜索:稠密向量 + 稀疏向量(BM25/SPLADE),内置 RRF、加权融合、Cross-encoder 重排
  • 索引:HNSW、IVF、DiskANN(v0.5)、Flat
  • 量化:FP16、INT8、RabbitQ
  • 全文检索 v0.5 新增,中文分词内置
  • 内置 Embedding:all-MiniLM-L6-v2、OpenAI、Jina v5、Qwen

性能数据(VectorDBBench,Cohere 1000万条 768维)

指标ZvecZillizCloud(此前榜首)
QPS8,000+~3,957
P99 延迟~2ms未公开
索引构建~5,714s~8,564s

嵌入式数据库吞吐量是分布式云服务的2倍+,原因:无网络往返、无序列化开销、SIMD 指令集 + 缓存友好内存布局。

资源治理(生产环境磨出来的)

  • 64MB 分块流式写入
  • mmap 按需加载(数据集可超物理 RAM)
  • 硬内存上限 memory_limit_mb
  • 线程预算控制(optimize_threads / query_threads 分离)

选型建议

  • 原型/Demo → Chroma(最快出结果)
  • 本地正式部署 → Zvec(性能强,资源可控)
  • 上云/分布式 → Milvus 或 Qdrant
  • 隐私敏感(医疗/金融/政务)→ Zvec

当前不足

  • 写操作单进程独占(多进程同时写入不支持)
  • Go/Rust SDK 刚发,多语言生态早期
  • LangChain/LlamaIndex 集成还在 Roadmap
  • Windows 刚起步,Android v0.3.0 才开始
  • 中国项目,HN 社区反应两极

作者结论

如果为新项目选本地向量方案,Zvec 是目前最值得列入候选的选项。大多数本地 RAG 场景(百万到千万条)一台笔记本足够跑,不需要独立的向量数据库服务。