預熱訓練 Warmup
預熱訓練是一種在模型訓練初期,逐步提高學習率的策略,旨在穩定訓練過程,避免初期梯度爆炸或震盪。
查詢 Transformer、RAG、AI Agent 等 AI 術語,包含定義、iPAS 考點分析、常見問題與 Markdown 版本。
預熱訓練是一種在模型訓練初期,逐步提高學習率的策略,旨在穩定訓練過程,避免初期梯度爆炸或震盪。
在模型訓練初期逐漸增加學習率的策略,可防止模型權重在訓練剛開始時因過大的梯度更新而崩潰或發散。
使用瓦瑟施泰因距離作為損失函數的 GAN 變體,提供更穩定的梯度信號,減輕訓練不穩定性和模式崩潰問題。
在文本、影像、音訊等數位內容中隱藏的標記或訊號,用於建立所有權、追蹤來源或檢測AI生成內容。
一種時頻分析方法,通過不同尺度的小波函數分解信號,同時保留時間和頻率信息。
WaveNet是一種深度生成模型,直接對原始音訊波形進行建模,能夠生成高品質的語音和音樂,並在語音合成領域取得了顯著的成果。
弱監督學習利用不精確、不完整或帶有雜訊的標籤資料來訓練機器學習模型,降低對大量精確標註資料的依賴。
權重裁剪是一種正則化技術,透過將神經網路的權重限制在特定數值範圍內,以增強模型訓練的穩定性與收斂效果。
「權重衰減」是深度學習正則化技術,透過懲罰過大權重,防止模型過度擬合,提升泛化能力。
Whisper 是 OpenAI 開發的語音辨識系統,能將語音轉換為文字,支援多種語言,並具備良好的抗噪能力和翻譯功能。
結合廣義線性模型與深度神經網路的混合機器學習架構,同時具備記憶歷史特徵組合能力與推廣未見特徵能力的優勢。
結合寬線性模型和深度神經網絡的混合機器學習架構,寬部分用於學習特徵組合,深部分用於學習高階特徵交互,常用於推薦系統和分類任務
將詞彙映射到連續向量空間的技術,使語義相似的詞在向量空間中距離相近,是自然語言處理的基礎表示學習方法。
詞義消歧(WSD)是自然語言處理中的一項任務,旨在確定一個詞在特定上下文中的正確含義,因為許多詞具有多重含義。
詞向量(Word2Vec)是一種將詞語轉換為數字向量的技術,其核心概念是讓語意相近的詞彙在向量空間中的距離更接近
工作流程自動化是指利用技術自動執行重複性、基於規則的任務和流程,以提高效率、減少錯誤並釋放人力資源。
世界模型是一種AI模型,旨在學習環境的內部表示,使代理能夠預測未來狀態並做出更明智的決策。