學習率排程 Learning Rate Scheduling
學習率排程是一種在訓練過程中調整學習率的技術,旨在加速收斂、避免震盪,並提高模型的泛化能力。常見方法包括步階衰減、指數衰減和餘弦退火。
瀏覽 AITerms.tw 中標籤為「AI基礎」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
學習率排程是一種在訓練過程中調整學習率的技術,旨在加速收斂、避免震盪,並提高模型的泛化能力。常見方法包括步階衰減、指數衰減和餘弦退火。
系統透過經驗不斷改進自身的學習過程,達到越來越高效的適應和泛化能力。
詞形還原是自然語言處理中將單詞還原為其基本形式(詞元)的過程,考慮了單詞的語法和上下文。
機器學習系統在整個生命週期內不斷學習新知識、新任務,同時保留和擴展既有知識。
線性迴歸法是一種統計方法,用於建立自變數和應變數之間的線性關係模型。目標是找到最佳擬合線,以預測應變數的值。
LLaMA(Large Language Model Meta AI)是 Meta 開發的開放權重(open-weight)大型語言模型系列,可免費下載、修改、自行部署,採 Meta 自訂 community license 授權,非 OSI 認證開源。
對數損失(Log Loss)是交叉熵損失在二元分類問題中的特殊形式,衡量模型預測機率與真實標籤之間的差異,數值越小代表模型表現越好。
邏輯程式設計是一種基於形式邏輯的程式典範,透過宣告事實與規則來推導結論,而非明確指令執行步驟。
邏輯式人工智慧利用形式邏輯表示知識並進行推論,旨在模擬人類的符號推理過程,解決複雜問題,強調可解釋性。
邏輯迴歸是一種廣義線性模型,用於預測二元或多元分類結果的機率。它使用 Sigmoid 函數將線性組合轉換為機率值,並透過最大似然估計來訓練模型。
指大型語言模型能夠處理和理解更長输入序列的能力,通常指支援數千到數百萬個 token 的上下文窗口。
損失函數衡量模型預測與實際值之間的差異,數值越小代表模型預測越準確,是模型訓練中優化目標的關鍵組成部分。