本地小模型當網關：PII 脫敏 + 請求分類再轉發雲端

• URL: https://www.threads.com/@jack_qian616/post/DZr08JREWaV
• Date Saved: 2025-06-18
• Source: Threads (@jack_qian616)
• Tags: local-llm, security-privacy

Summary

提出在本地用 Ollama 跑 Gemma 小模型作為「網關」，在請求送到雲端大模型（Claude）之前做三件事：

1. PII / API Key / 客戶隱私脫敏
2. 請求分類打標籤
3. 能本地答的直接答掉

用 n8n flow 串起整條管道，聲稱可砍掉一大半 API 調用量，敏感數據不離開本機。

Analysis: 適用性

適用場景（純 chat / 批次處理）

• 人對 AI 一問一答的聊天場景
• 客服 / FAQ 類結構化查詢
• 批次資料處理（清洗、翻譯，先遮 PII 再還原）

不適用場景（任何有 tool use 的 agent）

• Coding agent — 需要看完整 context（程式碼、變數名、路徑）才能正確操作，脫敏後無法工作
• Agentic loop — agent 是 read→edit→run→check→fix 的連續迴圈，中間插小模型做分類轉發會打斷 context 一致性
• Research / automation agent — 同理，agent 需要對真實資料做操作

結論

本質是「人 → AI 對話」的隱私方案，不適用「AI → 工具 → AI」的 agentic 架構。