Anubis — 擋 AI 爬蟲的輕量反向代理

• URL: https://www.threads.com/share/BAgu7znZb4/
• Date Saved: 2026-09-01
• Source: Threads (@xiaoxiunique)
• Tags: dev-tools, security-privacy
• Repo: https://github.com/TecharoHQ/anubis (22k stars)

Summary

@xiaoxiunique 介紹 Anubis — 給自建服務 (Git, wiki 等) 擋 AI 爬蟲的工具。

問題

• 自建的 Git 服務和 wiki 被 AI 爬蟲爬到崩
• robots.txt 寫了也沒人理

做法

• 反向代理前加一層，瀏覽器打開時自動做一道計算題 (proof-of-work) 才放行
• 訪客不用手動點，瀏覽器自動完成
• 批量抓取的腳本過不去
• 策略文件可放行 Internet Archive 等好爬蟲
• Go 寫的，輕量，小站也跑得起

定位

• 作者明確說: 多數站點用 Cloudflare 就夠
• 這是給不能用或不想用 Cloudflare 的人 (自建、內網、隱私考量)
• 類似 Cloudflare 的 JS challenge 但自己掌控