Threads
local-llmai-engineering
Original source

TwIL-LM2: 1.7B 小模型在邏輯推理打贏 8B/26B 通才模型

Summary

@11.6_d_m_b_ 分享 TwIL-LM2 的突破及當日幾個 AI 產業訊號：

TwIL-LM2 重點：

  • 1.7B 模型，用 PEFT LoRA adapter 疊在 SmolLM2-1.7B 上，專項訓練形式邏輯翻譯
  • strict-7 評分（要求完全正確格式）：TwIL-LM2 = 0.2386，Qwen3-8B = 0.2093，Gemma-4-26B = 0.2050
  • 核心信號：在夠窄的任務上，專項微調小模型已能打贏通才大模型
  • 對資源有限但任務邊界明確的團隊，這個路徑已有實際數字撐腰

當日其他訊號：

  1. 美國 FCC 把特定產地人形機器人加入 Covered List，判斷標準是生產地不是品牌來源國（越南組裝也受影響）
  2. Zuckerberg 發 6500 字超級智慧宣言，同週 Anthropic 上調 AI 對齊風險估計值 — 產業對「全力加速」的分歧已公開化
  3. 企業 AI 支出極端分佈：頭部 1% 已燒成真實營運成本，中位數公司還在實驗等級。落差繼續擴大將成競爭力差距來源