頓悟學習指模型在訓練初期泛化能力差，但經過長時間訓練後，突然展現出良好的泛化能力，如同頓悟一般。
容易混淆
grokking vs 過擬合 過擬合是訓練好、測試差 grokking 常是先像過擬合，後來測試表現突然改善 最關鍵的區別是卡住，還是後來翻轉
grokking vs 記憶化 記憶化只是在背答案 grokking 可能先背，再在某一刻形成規則 最關鍵的區別是單純背誦，還是最後產生泛化
記住這句就好
先背很久，突然才真正懂。
實際案例
合成資料任務 在一些人工設計的簡單規則任務裡，模型會先把訓練集記住，之後才突然在測試集上表現變好。
研究訓練動態 研究者會用 grokking 觀察模型到底是什麼時候從記憶轉向規則學習。
深入了解
這個現象讓人重新思考訓練時間、正則化和泛化之間的關係。 它不是每個任務都會出現，但對理解深度網路的學習過程很有幫助。
情境判斷
Q1： 訓練很久後，測試準確率突然大幅上升，你會想到什麼？ → 可以想到 grokking，尤其在規則型或合成任務裡。
Q2： 只有訓練集變好、測試集一直不變，這就是 grokking 嗎？ → 不一定，grokking 的重點是後來出現明顯的泛化轉折。
閱讀這頁時的常見誤區
只背中英文對照，無法判斷術語的適用情境。先確認定義，再對照完整說明與相關概念，頁面中的考試比重或出題方向，必須和下方標示的資料來源一起閱讀。
相關術語
常見問題
grokking 常出現在真實產品嗎？
還不算常見，更多是研究場景。
它和過擬合的關係是什麼？
常常先像過擬合，之後又突然翻成泛化。
為什麼值得關注？
因為它提醒我們，長訓練不一定只是記憶，也可能在某個時點學到規則。
資料來源
- AITerms.tw 術語資料庫，最後更新：2026-04-29。