修正線性單元是一種激活函數，其核心特徵為保留正值並將負值歸零，藉此加速計算並避免梯度消失
容易混淆
ReLU vs Sigmoid Sigmoid 會把輸入壓到 0 到 1 之間。 ReLU 對正值幾乎不壓縮，負值才歸零。 最關鍵的區別：一個會飽和，一個更直接。
ReLU vs Leaky ReLU ReLU 在負值時直接變 0。 Leaky ReLU 在負值時還留一點小斜率。 最關鍵的區別：一個完全截斷，一個保留一點梯度。
ReLU vs Tanh Tanh 會把值壓到 -1 到 1。 ReLU 不會把正值壓成固定區間。 最關鍵的區別：一個是平滑壓縮，一個是分段線性。
記住這句就好
正的放行，負的歸零。
實際案例
影像辨識 卷積神經網路常用 ReLU 讓特徵通過更快。 這讓模型在多層堆疊時更容易訓練。
語音或文字模型 深度網路裡的隱藏層常搭配 ReLU，幫助梯度更容易往前傳。 這比傳統飽和型函數更不容易卡住。
算法與應用
ReLU 的公式很簡單，輸入大於 0 就輸出原值，小於 0 就輸出 0。 它的優點是算得快、通常比較不會有梯度消失問題。 缺點是負值區域可能讓神經元長期沒有輸出，這就是常說的 dead ReLU。
情境判斷
Q1（直覺題）： 你要讓神經網路在正值區域盡量保留訊號，該選哪種激活函數？
→ ReLU 很常被選，因為它對正值幾乎不做壓縮。
Q2（判斷題）： 如果很多神經元在負值區域一直沒反應，就代表 ReLU 一定不適合嗎？
→ 不一定，要看資料分布、初始化和學習率，有時改成 Leaky ReLU 就能改善。
閱讀這頁時的常見誤區
只背中英文對照，無法判斷術語的適用情境。先確認定義，再對照完整說明與相關概念，頁面中的考試比重或出題方向，必須和下方標示的資料來源一起閱讀。
相關術語
常見問題
ReLU 為什麼這麼常用？
因為計算簡單、速度快，而且在很多深度學習任務裡都很有效。
ReLU 的缺點是什麼？
主要問題是負值區域會直接歸零，可能讓部分神經元不再學習。
ReLU 和線性函數一樣嗎？
不一樣，它是分段線性的，只有正值那一段保留線性，負值會被截斷。
資料來源
- AITerms.tw 術語資料庫，最後更新：2026-04-29。