---
title: "跳躍連接（Skip Connections）"
slug: skip-connections
language: zh-TW
source: https://aiterms.tw/terms/skip-connections
updated_at: 2026-07-30
tags: [深度學習, 機器學習, AI基礎]
ipas_term: false
---

# 跳躍連接（Skip Connections）

直接連接網路中相隔若干層的神經元，允許梯度和信息跳過中間層流通，改善深層網路的梯度流動和訓練穩定性。

## 完整說明

跳躍連接（Skip Connections）或殘差連接是一種架構模式，在神經網路中建立「捷徑」，將較早層的輸出直接加到或連接到較後層的輸入。這使訊號能跳過中間層，改善梯度流動（解決梯度消失問題），同時允許網路學習增量變換而非絕對變換，降低了訓練難度。

## 常見問題

### 跳躍連接如何解決梯度消失問題，與批規範化的作用如何區別？

跳躍連接和批規範化都改善梯度流動，但機制不同。梯度消失源於反向傳播時，梯度 dL/dx = dL/dy × dy/dx，若 dy/dx < 1（如 Sigmoid 導數最大 0.25），多層乘積會指數衰減。跳躍連接提供直接路徑，使 dL/dx 包含一條 dL/dy 直接項，梯度沿此路徑不衰減。批規範化則通過規範化激活值到均值 0、方差 1，使 dy/dx 接近 1，減少單個乘法的衰減。兩者互補：跳躍連接提供幾何級的加速傳遞（避免指數衰減），批規範化改善個別層的梯度尺度。實務中，兩者常結合使用：在跳躍塊內使用批規範化。跳躍連接對極深網路（100+ 層）影響更顯著，批規範化對所有網路都有益。

### 跳躍連接中是使用加法還是連接更好，有什麼區別？

加法（Element-wise Addition）和連接（Concatenation）各有優劣。加法（ResNet 使用）計算簡單，參數少，梯度流動直接；缺點是要求輸入和輸出維度完全相同，不同維度需投影層。連接（DenseNet 使用）無維度約束，允許不同通道數的層直接連接，提供了最大的特徵複用；缺點是連接後通道數增加，後續層計算量隨之增加，模型參數和內存使用更多。加法適合參數和計算受限的場景（移動應用），DenseNet 風格的連接適合計算充足且追求精度的場景。混合方法如 ResNeXt 使用加法但加入分組卷積提升通道利用，實現了兼顧。選擇應基於應用約束：實時推理或資源受限用加法，精度追求或計算充足用連接。

### 為什麼跳躍連接的最優距離（跨越多少層）與網路深度有關？

跳躍距離（跨越的層數）影響信息流通和梯度傳遞。距離太短（如每層都有跳躍）可能冗餘，網路退化為淺層效果；距離太長（如只有起始和末尾的跳躍）無法充分緩解梯度消失。研究表明，最優距離大約是網路深度除以梯度流最小層數（通常 3-5）。例如，ResNet-50 約 50 層，基本塊跨 2-3 層，約 16-25 個塊；ResNet-152 約 152 層，同樣跨距但塊更多。選擇也取決於任務：視覺識別通常 2-3 層跳躍；分割任務（U-Net）使用跨越編碼器和解碼器的長距離跳躍。理論分析表明，最優跳躍距離在 log(depth) 級別，即隨深度對數增長。實務中，建議從已驗證的架構（ResNet、DenseNet）開始，根據收斂速度和最終性能調整，而非盲目遍歷所有距離。

---

來源：https://aiterms.tw/terms/skip-connections
快查頁：https://aiterms.tw/terms/skip-connections
最後更新：2026/07/30
深度解說：https://aiterms.tw/learning/what-is-skip-connections