AI 術語詞典

預熱訓練是一種在模型訓練初期，逐步提高學習率的策略，旨在穩定訓練過程，避免初期梯度爆炸或震盪。

在模型訓練初期逐漸增加學習率的策略，可防止模型權重在訓練剛開始時因過大的梯度更新而崩潰或發散。

權重裁剪是一種正則化技術，透過將神經網路的權重限制在特定數值範圍內，以增強模型訓練的穩定性與收斂效果。

「權重衰減」是深度學習正則化技術，透過懲罰過大權重，防止模型過度擬合，提升泛化能力。