---
title: "預熱訓練（Warmup）"
slug: warmup
language: zh-TW
source: https://aiterms.tw/terms/warmup
updated_at: 2026-04-29
tags: [深度學習, 模型訓練, 最佳化, 神經網路, 遷移學習, Python程式]
ipas_term: false
---

# 預熱訓練（Warmup）

> **你有沒有一開始太用力，結果整個步調都亂掉？**
>
> 你可以把預熱訓練想成，模型剛開始先慢慢加速，等狀態穩了再進入正常訓練速度。
>
> 它重要，是因為一開始參數還沒站穩，學習率太大很容易讓訓練發散或震盪。
>
> 你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。

### 容易混淆
> **預熱訓練 vs 學習率排程**
> 學習率排程是整段訓練中學習率怎麼變，預熱訓練只是前面那一小段特別慢慢升高的設計。
>
> **預熱訓練 vs 早停**
> 早停是訓練到一半發現效果變差就停下來，預熱訓練是讓開頭更穩，不是提前結束訓練。
>
> **預熱訓練 vs 固定小學習率**
> 固定小學習率是整段都慢，預熱訓練是先慢後快，之後再接正常排程。
>
> 最關鍵的區別：預熱只管開頭，目的在穩住訓練起跑。

### 記住這句就好
> 先慢慢加速，模型比較不會摔倒。

### 實際案例
> **大型語言模型微調**
> 新模型一開始參數分布還不穩，如果直接用大學習率，loss 可能會猛跳。先做一段 warmup，常能讓訓練曲線更平順。
>
> **影像模型接續訓練**
> 你從預訓練權重接著訓練，資料量又不大，開頭使用 warmup 可以降低一開始把原本有用的權重拉壞的機率。

### 算法與應用
> Warmup 的核心不是多訓練，而是控制前期更新幅度。
>
> 常見做法有線性 warmup、指數 warmup，或先 warmup 再接 cosine decay。
>
> 它常和大 batch、AdamW、Transformer 一起出現，因為這些設定在訓練初期比較容易不穩。

### 情境判斷
> **Q1（直覺題）：** 你發現模型在前幾百步 loss 一直亂跳，先想到 warmup 合理嗎？
>
> → 合理，因為 warmup 就是用來穩住開頭。
>
> **Q2（判斷題）：** 如果你訓練的是小模型，資料也少，warmup 一定有幫助嗎？
>
> → 不一定。warmup 不是萬能，模型大小、資料量和學習率都會影響它值不值得加。

### 常見問題
> **Q：warmup 要設幾步才夠？**
> 沒有固定答案，常見是總訓練步數的 1% 到 10%，或依模型和資料大小調整。
>
> **Q：warmup 可以跟學習率衰減一起用嗎？**
> 可以，而且很常一起用。前面 warmup，後面再慢慢衰減，是常見組合。
>
> **Q：warmup 只有深度學習才需要嗎？**
> 主要出現在深度學習，但任何需要先穩定再加速的最佳化流程，都能借用這個概念。
>
> **Q：warmup 跟 batch size 有關嗎？**
> 有關。batch 越大、訓練初期更新越激烈時，warmup 往往更常被用來降風險。

### 相關術語
> - **學習率排程**：先看它，才能知道 warmup 在整段訓練裡的位置
> - **微調**：先看它，才能知道 warmup 為什麼常出現在接續訓練
> - **遷移學習**：先看它，才能理解 warmup 為什麼常跟預訓練模型一起用
> - **深度學習**：先看它，才能看懂 warmup 的常見使用場景

---

來源：https://aiterms.tw/terms/warmup
快查頁：https://aiterms.tw/terms/warmup
最後更新：2026/04/29
深度解說：https://aiterms.tw/learning/what-is-warmup