---
title: "提升算法（Boosting）"
slug: boosting
language: zh-TW
source: https://aiterms.tw/terms/boosting
updated_at: 2026-07-29
tags: [機器學習, 模型訓練, 模型評估, 統計方法, 最佳化, 特徵工程, 模型部署, Python程式, iPAS中級]
ipas_term: false
---

# 提升算法（Boosting）

> **你想把一群弱模型接力變成一個強模型時，你會怎麼判斷它真正的作用？**
>
> 你可以把它想成 Boosting 是一種集成學習技術，透過迭代訓練一系列弱學習器，每個學習器都試圖糾正前一個學習器的錯誤，最終將它們組合起來形成一個強學習器。
>
> 在 你想把一群弱模型接力變成一個強模型時 這種情境裡，這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。

### 容易混淆
> **Boosting vs Bagging**
> Boosting 是一輪補一輪的錯誤，Bagging 是多個模型平行投票。
>
> **Boosting vs Random Forest**
> Random Forest 偏 Bagging 路線，Boosting 偏逐步修正路線。
>
> **Boosting vs Stacking**
> Stacking 是再用一個模型整合多個模型，Boosting 則是序列式地把弱模型疊起來。

### 記住這句就好
> 先看它要解決的是什麼問題，再看它是不是最合適的方法。

### 實際案例
> **案例 1：表格資料預測**
> 信用風險、流失預測、廣告轉換這類表格任務，Boosting 常常很強。
>
> **案例 2：錯誤修正**
> 前一輪老是漏掉的樣本，下一輪會被更重視。

### 算法與應用
> | 面向 | 重點 |
> |---|---|
> | 核心 | 每一輪都盯著前一輪的錯誤，慢慢把模型推強。 |
> | 優點 | 通常能把偏差壓低，表格資料表現常很好。 |
> | 注意 | 資料太吵時，Boosting 也可能把噪聲一起學進去。 |

### Boosting 與 Bagging 的根本差別

| 項目 | Bagging | Boosting |
| --- | --- | --- |
| 訓練方式 | 各個模型獨立訓練，可平行 | 一個接一個，後面修前面的錯 |
| 每個模型看的資料 | 隨機抽樣（bootstrap） | 全部資料，但錯的樣本權重加重 |
| 主要在減少 | 變異數（variance） | 偏差（bias） |
| 適合的基模型 | 較深、容易過擬合的樹 | 很淺的樹（常見深度 3 到 6） |
| 對雜訊 | 較穩健 | 較敏感，容易把雜訊也學進去 |
| 代表 | 隨機森林 | AdaBoost、GBDT、XGBoost、LightGBM |

> 一句話的區別：bagging 是「大家各自判斷再投票」，boosting 是「一個接一個補前面沒做好的地方」。
>
> 因為 boosting 是序列的，它沒辦法像 bagging 那樣直接平行訓練。XGBoost 與 LightGBM 的速度優勢來自把單棵樹的建構過程平行化，不是把整串樹平行化。

### 三代 boosting 的演進

> **AdaBoost（自適應提升）**
> 最早的實用版本。做法是給每個訓練樣本一個權重，每訓練完一個弱分類器，就把它答錯的樣本權重調高，下一個分類器因此會更注意那些難題。最後把所有分類器加權投票。
>
> **梯度提升（Gradient Boosting，GBDT）**
> 換一個角度看同一件事：不調樣本權重，而是讓每一棵新樹去擬合「目前為止的預測與真實值之間的殘差」，也就是沿著損失函數的梯度方向走。這個框架的好處是可以換任何可微的損失函數，回歸、分類、排序都能做。
>
> **XGBoost 與 LightGBM**
> 都是梯度提升的工程化版本。XGBoost 在目標函數裡加進正則化項，並用二階導數資訊決定分裂點。LightGBM 改用逐葉（leaf-wise）生長與直方圖式分裂，在大資料上更快。
>
> 選型建議：結構化表格資料上，梯度提升這一路長年是最強的預設選擇，通常比神經網路更快也更準。資料量不大先用 XGBoost，資料量很大或欄位很多再考慮 LightGBM。

### 情境判斷
> **Q1（判斷題）：** 如果模型一直把錯的樣本抓出來重訓，這比較像哪種集成法？
> → 比較像 Boosting，因為它會把注意力放在前一輪的錯誤上。
>
> **Q2（判斷題）：** 如果你只想讓多個模型平均一下結果，會是 Boosting 嗎？
> → 通常不是，這比較像 Bagging。

### 常見問題
> **Q：Boosting 一定比其他方法好嗎？**
> 不一定，要看資料型態和噪聲大小。
>
> **Q：Boosting 為什麼常見於表格資料？**
> 因為它對結構化特徵很敏感，常能拿到很強的預測效果。
>
> **Q：Boosting 會過擬合嗎？**
> 會，尤其資料噪聲多或樹太深時，要搭配正則化和早停。

### 相關術語
> - **集成學習**：先讀這個，能幫你把主題放進更大的脈絡裡。
> - **梯度提升法**：先讀這個，能幫你把主題放進更大的脈絡裡。
> - **決策樹**：先讀這個，能幫你把主題放進更大的脈絡裡。
> - **自助聚合**：先讀這個，能幫你把主題放進更大的脈絡裡。
> - **隨機森林**：先讀這個，能幫你把主題放進更大的脈絡裡。

---

來源：https://aiterms.tw/terms/boosting
快查頁：https://aiterms.tw/terms/boosting
最後更新：2026/07/29
深度解說：https://aiterms.tw/learning/what-is-boosting