預熱訓練 Warmup
預熱訓練是一種在模型訓練初期,逐步提高學習率的策略,旨在穩定訓練過程,避免初期梯度爆炸或震盪。
深度學習模型訓練最佳化
瀏覽 AITerms.tw 中標籤為「深度學習」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
預熱訓練是一種在模型訓練初期,逐步提高學習率的策略,旨在穩定訓練過程,避免初期梯度爆炸或震盪。
使用瓦瑟施泰因距離作為損失函數的 GAN 變體,提供更穩定的梯度信號,減輕訓練不穩定性和模式崩潰問題。
WaveNet是一種深度生成模型,直接對原始音訊波形進行建模,能夠生成高品質的語音和音樂,並在語音合成領域取得了顯著的成果。
權重裁剪是一種正則化技術,透過將神經網路的權重限制在特定數值範圍內,以增強模型訓練的穩定性與收斂效果。
「權重衰減」是深度學習正則化技術,透過懲罰過大權重,防止模型過度擬合,提升泛化能力。
Whisper 是 OpenAI 開發的語音辨識系統,能將語音轉換為文字,支援多種語言,並具備良好的抗噪能力和翻譯功能。
結合寬線性模型和深度神經網絡的混合機器學習架構,寬部分用於學習特徵組合,深部分用於學習高階特徵交互,常用於推薦系統和分類任務
詞義消歧(WSD)是自然語言處理中的一項任務,旨在確定一個詞在特定上下文中的正確含義,因為許多詞具有多重含義。