---
title: "持續學習（Continual Learning）"
slug: continual-learning
language: zh-TW
source: https://aiterms.tw/terms/continual-learning
updated_at: 2026-07-29
tags: [機器學習, 深度學習, 模型訓練, 遷移學習, 神經網路, AI基礎, 模型評估, 最佳化]
ipas_term: false
---

# 持續學習（Continual Learning）

> **你有沒有想過，模型可不可以一邊學新東西，一邊保留舊知識？**
>
> 你可以把持續學習想成「不斷上新課，但不忘舊課」：模型接到新任務時，還能記得之前學過的內容。
>
> 它很重要，因為真實世界的資料一直變，新任務一來就把舊知識洗掉，模型就會越學越短命，尤其在產品一直擴充新功能時特別明顯。

### 容易混淆

> **持續學習 vs 傳統重訓 vs 線上學習**
>
> 持續學習：學新任務時盡量保留舊知識
>
> 傳統重訓：常用新資料蓋掉舊能力
>
> 線上學習：資料到哪就學到哪，偏重即時更新
>
> 最關鍵的區別：持續學習最在意的是「不要忘記舊東西」。

### 記住這句就好

> 學新東西時，別把舊知識洗掉。

### 實際案例

> **語音助理更新**
>
> 前：模型學會新口音後，反而聽不懂舊口音
>
> 後：用持續學習保住原有辨識能力，再慢慢吸收新資料
>
> **客服分類器擴充**
>
> 前：新增一種產品線後，原本的分類準確率掉很多
>
> 後：用記憶回放或正則化方法保留舊類別能力

### 算法與應用

> 持續學習常用記憶回放、正則化、參數隔離與知識蒸餾等策略
>
> 它和災難性遺忘是對立面，研究重點就是想辦法在學新任務時保住舊能力
>
> 在產品裡，它很適合任務會逐步增加、類別會一直擴張的場景

### 災難性遺忘是它要解決的核心問題

> 持續學習（continual learning，也叫終身學習 lifelong learning）要處理的是：模型學了新任務之後，舊任務的表現大幅下降。這個現象叫災難性遺忘（catastrophic forgetting）。
>
> 原因很直接：神經網路的知識分散在權重裡，訓練新任務時梯度下降只在乎新任務的損失，會把對舊任務重要的權重一起改掉。而訓練時看不到舊資料，所以沒有任何力量阻止這件事。
>
> 人類不會這樣。學會騎機車不會忘記騎腳踏車，這個差距是持續學習領域存在的原因。

### 三類主流做法

> **正則化法。** 找出對舊任務重要的權重，訓練新任務時限制它們的變動幅度。代表方法是彈性權重固化（EWC），用費雪資訊矩陣估計每個權重的重要性，越重要的懲罰越重。優點是不需要存舊資料，缺點是任務一多，被鎖住的權重越來越多，最後學不動新東西。
>
> **回放法（rehearsal）。** 保留一小部分舊資料，訓練新任務時混進去一起訓練。這是效果最穩定的一類，缺點是要儲存空間，而且在隱私法規下不一定能留。變體是生成式回放：訓練一個生成模型來合成舊資料，不存原始資料。
>
> **架構法。** 為新任務新增專屬的參數，舊參數凍結不動。代表是漸進式神經網路與各種 adapter。優點是完全不會遺忘，缺點是參數量隨任務數成長。
>
> 現在大型語言模型上最常用的其實是架構法的變體：LoRA。為每個新領域訓一組低秩的旁支權重，主模型完全不動，需要時載入對應的那一組。這既避免遺忘，額外參數又很小。

### 實務上的判斷

> **多數情況不需要真的做持續學習，重新訓練就好。** 如果你有完整的歷史資料而且算力負擔得起，把新舊資料混在一起重訓一次，效果一定比任何持續學習方法好。持續學習是在「拿不到舊資料」或「不能重訓」時才需要的權宜之計。
>
> **真正需要的場景：** 資料因隱私規定無法保留、模型部署在邊緣裝置上要就地學習、資料以串流形式持續進來且分布會變。
>
> **一定要保留一組固定的舊任務評估集。** 沒有它，遺忘發生了你也不會知道，因為新任務的指標看起來一切正常。

### 情境判斷

> **Q1（直覺題）：** 模型學新分類後，舊分類能力還在，這比較像持續學習嗎？
>
> → 是，這正是它想達成的事。
>
> **Q2（判斷題）：** 只要每次都把全部歷史資料重訓一次，就等於持續學習嗎？
>
> → 不等於。那比較像重新訓練，不是針對保留舊知識設計的方法。

### 常見問題

> **Q：持續學習和遷移學習一樣嗎？**
>
> 不一樣，遷移學習偏向把舊知識搬到新任務，持續學習更在意新舊任務一起維持。
>
> **Q：為什麼模型會忘記舊知識？**
>
> 因為新資料更新時，梯度可能把舊參數推離原本有用的位置。
>
> **Q：這適合哪些產品？**
>
> 任何會不停加入新類別、新場景或新語言的系統都很適合。

### 相關術語

> - **遷移學習**：了解它，才能看出持續學習和知識移轉的差別
> - **元學習**：常被拿來一起談，因為都在處理快速適應
> - **線上學習**：真實產品常會和持續學習一起出現
> - **少樣本學習**：新任務資料少時，這類方法很常補位
> - **概念漂移**：世界變動時，持續學習常要一起應對

---

來源：https://aiterms.tw/terms/continual-learning
快查頁：https://aiterms.tw/terms/continual-learning
最後更新：2026/07/29
深度解說：https://aiterms.tw/learning/what-is-continual-learning