BDH: Post-Transformer Architecture Solves Extreme Sudoku at 97.4% (Transformers Score 0%)
- URL: https://www.threads.com/@readus_org/post/DZ6i1s7GjWd
- Date Saved: 2026-06-23
- Source: Threads (@readus_org) — summarizing Super Data Science Podcast #978 with Jon Krohn
- Tags: ai-engineering
Summary
Pathway 公司提出的後 Transformer 架構 BDH，在「Sudoku Extreme」基準測試（~25萬道極難數獨）中取得 97.4% 準確率，而所有主流 LLM（GPT-3.5 Mini、DeepSeek R1、Claude 3.7 Sonnet）準確率為 0%。
為何數獨是好的推理測試：
- 多約束滿足問題（constraint satisfaction）
- 需要搜尋、回溯、多路並行推理
- 驗證容易，但生成答案極難
BDH 三大創新：
- 內部推理空間 (Latent Reasoning Space) — 獨立於語言的潛在推理，不需要把每步思考「說出來」。類比：棋手閉眼同時下20盤棋
- 稀疏正激活 (Sparse Positive Activation) — 每次只激活約 5% 神經元，類似人腦運作，大幅降低能耗
- 持續學習 (Continual Learning) — 20分鐘內學會新規則並持續改進，權重可動態更新（Hebbian learning），不靠固定權重+CoT prompting
效率優勢：
- 推理成本比 GPT o3-mini / DeepSeek R1 / Claude 3.7 低約 10倍
- 不需生成長串文字中間推理步驟
Transformer 的根本限制：
- 所有任務轉為 token-by-token 文字序列預測
- 無法內部維持多種候選策略
- 無法無聲回溯（每步決策輸出後不可逆）
規模與現狀：
- BDH 目前為十億參數級（GPT-2 相當）
- 尚未有巨型模型，但被視為 Transformer 之後的可行替代路徑
- 應用潛力：醫療、法律、運籌、戰略規劃等約束滿足問題
Source video:
- YouTube: “A Post-Transformer Architecture Crushes Sudoku (Transformers Solve ~0%) #978 with Jon Krohn”