鞍點 Saddle Point
函數曲面上在某方向為局部最大值,在另一方向為局部最小值之點,形似馬鞍。在最佳化中,理解收斂行為的關鍵概念。
瀏覽 AITerms.tw 中標籤為「模型訓練」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
函數曲面上在某方向為局部最大值,在另一方向為局部最小值之點,形似馬鞍。在最佳化中,理解收斂行為的關鍵概念。
規模指AI系統中模型參數、訓練資料與運算資源的量級。擴展規模可顯著提升效能,是推動大型語言模型突破的關鍵因素。
水平擴展是透過增加伺服器節點來分散系統負載的架構策略,常用於提升模型部署與分散式運算的處理能力。
規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。
自我對弈是一種強化學習技術,其中智能體與自身的副本進行對弈,從而學習和改進策略,無需外部人類或標記數據。
半監督學習是一種機器學習方法,它結合了少量標記資料和大量未標記資料進行模型訓練,旨在利用未標記資料提升模型效能,降低標記成本。
SentencePiece 是一種獨立於語言的分詞器,它將輸入視為 Unicode 字符序列,並使用 BPE 或 Unigram 算法生成詞彙表。
Seq2Seq模型是一種將一個序列轉換為另一個序列的深度學習模型,廣泛應用於機器翻譯、文本摘要、語音辨識等任務。
基於會話推薦利用使用者單次瀏覽會話內的行為序列,預測使用者下一步可能感興趣的項目,無需使用者歷史資料。
連體神經網路是一種包含兩個或多個共享相同權重的相同神經網路的架構,用於比較輸入之間的相似性或關係。
模擬至實轉移是一種將在模擬環境中訓練的模型應用到真實世界的方法,旨在克服模擬與現實之間的差異,提升模型泛化能力。
模擬加速是一種結合人工智慧與計算科學的技術,用於在保持合理精確度的前提下,大幅縮短複雜系統模擬所需的時間。
一種高效的注意力機制,限制每個位置只與一個固定大小的局部上下文窗口內的位置進行注意力計算,減少計算複雜度。
槽位填充是自然語言理解中的一項任務,旨在從文本中提取特定資訊,並將其填入預定義的槽位中,以形成結構化資料。
SMOTE 是一種處理資料不平衡問題的過採樣技術,透過合成少數類別樣本來平衡資料分佈,提升模型學習效果。
稀疏性約束是一種在機器學習中,強制模型參數或內部表示包含更多零值的正則化技術,以降低運算成本。
推測解碼是一種加速大型語言模型推論速度的技術,透過小型模型預測多個token,再由大型模型驗證,減少計算量。
語音合成技術是一種將文字轉換成人類語音的技術,也稱為文字轉語音(TTS)。它廣泛應用於語音助理、導航系統和輔助科技等領域。
競價型訓練利用閒置的雲端運算資源,以大幅降低模型訓練成本,但可能因資源回收而中斷。
Stable Diffusion 是一種潛在擴散模型,用於根據文字描述生成高質量圖像,透過迭代去噪過程,從隨機噪聲中產生逼真圖像。
狀態機模型是一種計算模型,系統在任何給定時間都處於有限數量的狀態之一,並根據輸入在狀態之間轉換。
狀態空間模型是一種數學模型,用於描述系統隨時間演變的狀態。它包含狀態方程和觀測方程,廣泛應用於控制、預測和訊號處理。
隨機梯度下降(SGD)是一種迭代優化算法,用於最小化目標函數。它每次迭代僅使用一個或少量樣本計算梯度,加速訓練過程,但可能導致收斂不穩定。
風格轉換是一種使用人工智慧技術,將一張圖片的風格應用到另一張圖片的內容上的方法,創造出具有新風格的圖像。
次詞單元化是將單詞拆分為更小的子單元(次詞)的技術,用於解決詞彙量過大和未登錄詞(OOV)問題,提升模型泛化能力。
超解析度重建是一種電腦視覺技術,旨在從低解析度影像重建出高解析度影像,提升影像的清晰度和細節。
超級對齊旨在確保遠超人類智慧的AI系統,其目標與人類價值觀對齊,避免潛在的失控風險。
監督式學習是一種 AI 方法,透過提供帶有正確標籤的輸入資料,訓練模型學習預測新資料的標籤
支持向量機是一種機器學習模型,透過尋找最大邊界的超平面,將不同類別的資料有效分隔
Swin Transformer是一種層級式的Transformer模型,用於電腦視覺任務,透過移動視窗機制有效降低計算複雜度,並提升模型效能。
合成數據是指通過程式或演算法生成的人工數據,而非從真實世界收集的數據。它常用於訓練AI模型,特別是在真實數據稀缺或涉及隱私問題時。
合成資料生成是指透過程式或模型創建人工資料,用於訓練機器學習模型,尤其是在真實資料稀缺或難以獲取的情況下。
系統提示詞是用於引導大型語言模型行為的初始指令,影響模型的回應風格、知識範圍和任務執行方式。