AI 術語詞典

在反向傳播時重新計算隱藏層激活值而非存儲，交換計算時間換取記憶體空間，使訓練更大模型成為可能。

根據過去梯度的平方和自動調整各參數學習率的最佳化演算法，使高頻參數學習率較小，低頻參數學習率較大。

對抗性去偏見是一種利用對抗性訓練減少機器學習模型預測中固有偏見的技術，確保演算法的公平性。

人工智慧倫理旨在探討並解決AI系統開發、部署和使用過程中涉及的道德、法律和社會問題，確保AI的發展符合人類價值觀。

人工智慧安全旨在確保AI系統在部署後，其行為符合人類意圖，避免產生意外或有害的後果，保障人類福祉。

反洗錢人工智慧（AML AI）利用AI技術自動偵測金融交易中的可疑活動，協助金融機構遵守法規，打擊洗錢犯罪。

通用人工智慧（AGI）是指具備與人類同等或超越人類的智慧，能夠理解、學習、適應並在任何智力任務中表現出色的AI系統。

後門攻擊是一種針對機器學習模型的惡意攻擊，攻擊者在模型中植入後門，使其在特定觸發條件下產生預設的錯誤輸出。

金吉拉縮放是一種模型縮放法則，旨在透過調整模型大小和訓練資料量，以達到最佳的計算效率，避免過度訓練或訓練不足。

內容生成是指使用人工智慧技術自動創建文字、圖像、音訊或影片等內容的過程，旨在降低內容創作成本並提高效率。

語料庫是大量結構化的文本集合，用於語言研究和自然語言處理，提供真實語言使用的範例，用於訓練和評估模型。

資料填補是處理遺失值的方法，透過統計方法估算並替換遺失值，以維持資料完整性，避免分析偏差。

資料標註是指為原始資料添加標籤的過程，這些標籤提供關於資料的額外資訊，用於訓練監督式機器學習模型。

深度學習是一種機器學習方法，透過多層神經網路自動從原始資料中提取階層特徵，解決複雜問題。

提前終止是一種機器學習訓練技巧，藉由監控驗證損失，在模型過度擬合前及早停止訓練，以提高泛化能力。

GBDT 的進化版，加入正則化防過擬合，支援缺失值和並行化，是比賽和業界的常勝軍

特徵縮放是一種資料前處理技術，用於將不同範圍的特徵值縮放到一個統一的範圍內，避免某些特徵主導模型訓練。

閃電注意力機制是一種優化注意力計算的技術，透過重新排序計算步驟和利用硬體加速，大幅提升注意力計算的速度和記憶體效率。

梯度懲罰是用於穩定生成對抗網路的正則化技術，透過限制梯度範數以確保模型平滑，能防止模式崩潰。

上下文學習理論指大型語言模型無需額外訓練，僅憑藉輸入提示中的範例，即可執行新任務的能力，展現了模型泛化的潛力。

標籤偏誤是指訓練資料的標註結果反映了人類主觀判斷或社會既有成見，導致資料標籤帶有系統性偏差，使AI模型學習到不公平的關聯。

學習是AI系統從數據中自動提取模式、規律與特徵，藉以提升特定任務效能的核心過程。

學習率排程是一種在訓練過程中調整學習率的技術，旨在加速收斂、避免震盪，並提高模型的泛化能力。常見方法包括步階衰減、指數衰減和餘弦退火。

線性迴歸法是一種統計方法，用於建立自變數和應變數之間的線性關係模型。目標是找到最佳擬合線，以預測應變數的值。

對數損失（Log Loss）是交叉熵損失在二元分類問題中的特殊形式，衡量模型預測機率與真實標籤之間的差異，數值越小代表模型表現越好。

遮蔽語言模型（MLM）是一種自監督學習方法，隨機遮蔽輸入文本的部分詞語，並訓練模型預測這些被遮蔽的詞語。

矩陣分解推薦是一種推薦系統技術，它將用戶-項目互動矩陣分解為兩個低維矩陣，分別代表用戶和項目的隱含特徵，用於預測用戶對未互動項目的偏好。

最大似然估計 (MLE) 是一種統計方法，用於估計機率分佈的參數，它通過最大化觀察到樣本數據的似然函數來實現。

指多模態模型在部分輸入資料（如影像或音訊）缺失或損壞時，仍能維持穩定預測效能與系統運作的能力。

混合正則化是一種透過組合兩個或多個訓練樣本及其標籤來生成新訓練數據的技術，藉此擴增資料集多樣性，有效減輕神經網路模型的過擬合現象並提升泛化能力。

模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。

模型參數是機器學習模型從資料中學習到的內部數值變數，包含權重與偏差，主要決定模型如何產生預測結果。

模型版本控制是追蹤和管理機器學習模型不同迭代的過程，確保可重複性、可追溯性和協作。

音樂生成是利用AI模型自動創作音樂，涵蓋旋律、和聲、節奏等多個方面，旨在模擬人類作曲過程。

NAS 是一種自動化設計神經網路架構的技術，旨在減少人工設計的試錯成本，讓演算法自行尋找效能最佳的模型結構。

常態分佈是一種連續機率分佈，其機率密度函數呈鐘形曲線，平均數、中位數和眾數相等，數據集中在平均值附近。

神經網路最後一層，根據任務類型選擇合適的激活函數，將隱藏層的高維特徵轉換為最終預測結果（分類概率、迴歸值或其他形式），是模型與外界交互的界面。

一種分散式機器學習架構，專門負責儲存與更新全域模型參數，並與多個工作節點進行通訊與資料同步。

將深度神經網路的不同層分配到不同的 GPU 設備上，讓多個 micro-batch 在不同層上交叉執行以提高 GPU 利用率的分佈式訓練方法。

前綴調整法是一種參數高效的微調技術，通過在輸入序列前添加可訓練的前綴向量，來引導預訓練模型生成期望的輸出，同時保持原始模型參數凍結。

強化學習是一種讓 AI 透過與環境互動，從獎勵和懲罰中學習，進而找到最佳行動策略的方法

規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。

自我對弈是一種強化學習技術，其中智能體與自身的副本進行對弈，從而學習和改進策略，無需外部人類或標記數據。

Swin Transformer是一種層級式的Transformer模型，用於電腦視覺任務，透過移動視窗機制有效降低計算複雜度，並提升模型效能。

合成數據是指通過程式或演算法生成的人工數據，而非從真實世界收集的數據。它常用於訓練AI模型，特別是在真實數據稀缺或涉及隱私問題時。

將單個張量（矩陣或更高維數組）的計算分割到多個 GPU 設備上，通過跨設備並行計算矩陣乘法等操作的分佈式訓練方法。

測試資料集用於評估模型在未見過資料上的泛化能力，是模型效能的最終指標，在模型部署前使用。

梯度消失是指在深度學習模型訓練中，梯度在反向傳播時逐漸縮小至接近於零，導致淺層網路權重難以更新，模型學習停滯。

WaveNet是一種深度生成模型，直接對原始音訊波形進行建模，能夠生成高品質的語音和音樂，並在語音合成領域取得了顯著的成果。

世界模型是一種AI模型，旨在學習環境的內部表示，使代理能夠預測未來狀態並做出更明智的決策。