---
title: "線性整流函數（ReLU）"
slug: relu
language: zh-TW
source: https://aiterms.tw/terms/relu
updated_at: 2026-06-22
tags: [深度學習, 神經網路, 模型訓練, 特徵工程]
ipas_term: false
---

# 線性整流函數（ReLU）

線性整流函數（Rectified Linear Unit, ReLU）是深度學習中最常用的激活函數，將負值輸出設為零、正值保持不變，有效解決梯度消失問題並加速神經網路收斂。

## 完整說明

線性整流函數（Rectified Linear Unit, ReLU）定義為 f(x) = max(0, x)，是目前深度學習中應用最廣的激活函數。相較於早期的 Sigmoid 和 Tanh 函數，ReLU 在正區間保持線性梯度，大幅緩解了深層網路中的梯度消失問題，使得訓練更快速且穩定。ReLU 在卷積神經網路（CNN）、全連接層均廣泛使用，常見於影像分類、物件偵測等視覺任務。其主要侷限為「神經元死亡（Dead Neuron）」現象，可透過 Leaky ReLU 或 PReLU 等變體改善。

## 常見問題

### ReLU 為什麼能解決梯度消失問題？

Sigmoid 和 Tanh 函數在輸入值極大或極小時，梯度會趨近於零，導致深層網路在反向傳播時梯度層層衰減、幾乎無法更新前端參數，這就是梯度消失。ReLU 在正值區間的梯度始終為 1，無論網路有多少層，正值路徑上的梯度都不會因函數本身而縮小。搭配殘差連接（Residual Connection）使用時，深達百層的網路也能有效訓練。負值區間梯度為零雖然造成神經元死亡風險，但在大多數網路配置下，存活的神經元數量仍足以讓模型正常學習。

### Leaky ReLU 和 ReLU 的選擇依據是什麼？

若訓練過程中發現有大量神經元輸出長期為零（可透過監控激活分布確認），或網路在訓練後期收斂停滯，可考慮切換至 Leaky ReLU。Leaky ReLU 為負值區間保留一個小斜率（通常為 0.01），使死亡神經元有機會恢復。在影像分類等任務中，兩者效果差異往往不顯著，優先選 ReLU 可減少超參數。若採用 Leaky ReLU，斜率值本身也是需要調整的超參數，可用 PReLU（可學習斜率）讓模型自動搜尋最佳值。

### iPAS 考題中 ReLU 常以什麼形式出現？

iPAS 考題中 ReLU 常出現在兩類情境：一是要求考生辨別各激活函數的數學特性（如「下列哪個激活函數能緩解梯度消失問題」），此時需記住 ReLU = max(0,x) 且正區間梯度為 1；二是卷積神經網路架構題，詢問典型 CNN 的層次順序（卷積層 → 批次正規化 → ReLU → 池化層）。考生需注意 ReLU 的侷限（神經元死亡）以及改良版本（Leaky ReLU、PReLU、ELU）之間的比較，這類比較題在中級科目中頻繁出現。

---

來源：https://aiterms.tw/terms/relu
快查頁：https://aiterms.tw/terms/relu
最後更新：2026/06/22
深度解說：https://aiterms.tw/learning/what-is-relu