Facebook (Generative AI 技術交流中心 group, 林子超)
ai-engineeringlocal-llm
Original source

地端 AI 值不值得？九個講者給了九個答案 — 2026/8/19 AI 小聚心得

Summary

林子超整理 2026/8/19 台灣 AI 小聚「企業地端」主題，九位講者兩小時的精華心得。核心問題：AI 要不要搬進自己的機房？

九個觀點摘要

一、算帳派 — YC（Noopher AI）

  • 500人公司、75%工時並發 → 需 2 副本 GB300（2,800萬）+ 電費營運 80萬
  • 第一年地端就已經比官方 API 便宜
  • 但 IC 設計等場景整包要 5,800萬，2,000萬預算不夠

二、硬體會漲 — Wisely Chen（創智動能）

  • 同一張 5090：5月10萬 → 7月12萬 → 8月17萬（三個月漲70%）
  • YC 成本曲線的起點會自己往上跑

三、隱藏成本 — 劉詩雁（納曦智能）

  • 真正費用不只 token：檢索、重排序、搜尋、工具呼叫都要錢
  • 誤用微軟搜尋做 BM25 花掉七八萬
  • 電商客服 AI 成本中位數 3-10萬/月，加上數據分析需求到 8-10萬

四、爆炸半徑 — 胡嘉璽（嘉崎人智）

  • Agent = LLM + Harness（馬具）
  • 七級隔離等級：L1（Claude Code —dangerously-skip-permissions）到 L7（全本機+沙箱斷網）
  • 示範 NVIDIA OpenShell 沙箱：斷網仍能完成去識別化
  • 親身教訓：幾萬筆身分證丟上 Claude Code，5分鐘被資安叫去

五、保險 vs 投資 — Teemo（臺大醫院）

  • 中山南路中華電信線被挖斷 → 醫院斷線35分鐘
  • 9.5萬買 GB10 放桌上 = 買保險，不是買投資
  • 「滅火器不問回本」— 跟 YC 的 2,800萬完全不同量級，解的不是同一個問題

六、地端不是第一優先 — OSSLab 熊大

  • 投了100多萬硬體（M4 Max 128G、RTX 6000 96G、768G DRAM）
  • 做了脫敏匝道（遮敏感欄位→送雲端→組回來）
  • 誠實結論：挫折感比較大。公司 4000萬營業額中 GPU 只佔100萬
  • 「企業要先解決權限、資安流程化、職務調動，地端模型不是第一個要考慮的」

七、最成熟的應用 = 讀文件

  • Denise（財報 PDF→JSON/CSV）、胡嘉璽（文件去識別化）、Teemo（手寫檢查單→儀表板）
  • 三個都是「把紙變成資料，不准出門」
  • OCR 的坑：括號=負數、格子太密、框跟括號太近

八、模型主權 vs 資料主權

  • 開放權重模型幾乎都是中國訓練 → 載了權重也載了價值觀
  • abliterated（消融版）可移除拒絕機制，但整體品質下降
  • 「你拿回的是資料主權，不是模型主權」

九、訓練派

  • 黃亮勳（Twinkle AI）：model as infrastructure，繁體中文模型快滅絕。開源 training skills，用自然語言+Claude Code 即可訓練模型（一張 3090 跑法律資料集）
  • Eric Lam（openformosa）：從零訓練。2026新發現：SFT 做好可以不用 RL。「更強的老師不一定教出更好的學生」

金句

  • 「雲端的 AI 很強，但我的連外線路被挖斷了，我哪裡來的 AI？」
  • 「Harness 降低的是門檻，模型決定的是天花板。門檻和天花板是兩條線，不是同一條。」
  • 「如果台灣的模型國力掌控在外國手上，人家拔了插頭，我們的應用瞬間都不在了。」
  • 「並沒有很多中小企業真的花錢投入 GPU 設備。」（GPU 佔營業額 2.5%）