金吉拉縮放 Chinchilla Scaling
金吉拉縮放是一種模型縮放法則,旨在透過調整模型大小和訓練資料量,以達到最佳的計算效率,避免過度訓練或訓練不足。
機器學習深度學習大型語言模型
瀏覽 AITerms.tw 中標籤為「最佳化」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
金吉拉縮放是一種模型縮放法則,旨在透過調整模型大小和訓練資料量,以達到最佳的計算效率,避免過度訓練或訓練不足。
利用強化學習演算法來解決複雜組合最佳化問題的技術,透過與環境互動學習最佳決策策略以尋求近似最佳解。
運算最佳訓練旨在於給定運算資源下,最大化模型效能。它涉及調整模型大小、資料集大小和訓練步驟,以達到最佳效率。
衡量數學問題或演算法對輸入微小變化的敏感程度。
持續學習旨在使AI模型能夠在不遺忘先前知識的情況下,逐步學習新的任務和資料,模擬人類終身學習的能力。
持續整合設計是規劃自動化流程,頻繁整合程式碼、建構與測試,旨在提升軟體開發效率與品質。
凸優化是一種數學優化方法,旨在尋找凸函數在凸集合上的最小值。其優點是局部最小值即為全局最小值,易於求解。
學習率沿著餘弦函數曲線逐漸衰減,從初始值平滑降低到最小值,使模型在訓練後期細微調整參數。
代價函數是所有訓練樣本損失函數的平均值,用於評估模型在整個訓練集上的表現,並作為優化算法的目標。
交叉熵損失是一種衡量兩個機率分佈之間差異的損失函數,常用於分類任務中評估模型預測結果與真實標籤的差距。
晶體結構預測是指透過計算機演算法,從給定的化學組成預測材料在特定條件下的穩定三維晶體結構。