AI 術語詞典

摘要生成技術利用AI理解原文，並以新的句子和詞彙生成摘要，更接近人類的摘要方式，但實現難度較高。

具備自主感知環境、做出決策並執行相應動作以達成特定目標的智慧型軟體實體。

一種相對位置編碼方法，通過在注意力分數中添加位置相關的線性偏置項，實現相對位置編碼且具有優秀的外推性能。

模型在對齊（使其行為符合人類價值觀）過程中可能損失的性能，特別是在某些原始能力上的下降。

Google 的雙向語言模型，用 MLM（遮罩）和 NSP 預訓練，擅長理解文本語意

金吉拉縮放是一種模型縮放法則，旨在透過調整模型大小和訓練資料量，以達到最佳的計算效率，避免過度訓練或訓練不足。

分塊處理是指將大型資料集或文本分割成更小、更易於管理的部分，以便於模型處理和分析，提升效率。

一種條件生成技術，不依賴外部分類器，通過在無條件生成過程中注入條件信息來控制生成結果，常用於文本到圖像等多模態任務。

一種對齐大型語言模型的方法，透過編制一份「憲法」（一組原則和價值準則），指導 AI 系統自我批評和改進行為，無需依賴大量人類反饋，實現更可控且價值對齐的 AI 系統。

AI 模型在生成回應或進行預測時，所能參考與記憶的輸入資訊範圍及歷史對話內容。

將大規模資料集水平切割為多個獨立區塊，以提升平行處理效率與降低記憶體負荷。

對話系統是一種能與人類進行自然語言互動的AI系統，目標是理解使用者意圖並提供適當的回應，完成特定任務或提供資訊。

Transformer 中最基礎的注意力機制，透過查詢向量與鍵向量的點積計算相似度，再用 softmax 轉為權重後對值向量加權求和。

根據系統負載和數據可用性，動態調整批次大小和處理時機的推理最佳化技術，用於平衡吞吐量和延遲。

函數呼叫是一種允許大型語言模型（LLM）調用外部函數或API的能力，以擴展其功能並與外部世界互動。

生成式模型（Generative Model）是能夠學習資料的機率分布並從中生成新樣本的機器學習模型，涵蓋 GAN、VAE、擴散模型等架構，廣泛應用於影像合成、文字生成與資料擴增。

OpenAI 的自回歸語言模型，一個字接一個字生成文本，只使用 Decoder 架構

一種高效的注意力機制，將多個查詢頭共享同一組鍵值頭，減少模型參數和記憶體消耗，同時保持性能不下降。

在大型語言模型推理中，預先計算並存儲前面 token 的鍵和值向量，避免重複計算的優化技術。

LangChain是一個用於開發基於大型語言模型（LLM）應用程式的框架。它簡化了LLM的整合、鏈接和部署，讓開發者能快速構建複雜的AI應用。

LLMs 是大型語言模型群的統稱，代表當今具備強大自然語言理解與生成能力的各類基礎模型集合。

指時序資料裡跨度極大的長程關聯性，或資料集中呈現數量極少但種類繁多的極端不平衡長尾樣本分佈現象。

指大型語言模型能夠處理和理解更長输入序列的能力，通常指支援數千到數百萬個 token 的上下文窗口。

機制性可解釋性旨在理解AI模型內部運作的具體機制，如同理解程式碼般，而非僅僅觀察輸入輸出關係。

記憶率衡量AI模型對訓練資料中特定樣本的過度記憶程度，可能導致隱私洩露或泛化能力差。

多跳推理是指需要通過多個推理步驟才能得出結論的推理過程，模擬人類複雜的思考方式。

自然語言生成（NLG）是將結構化資料轉換為人類可理解的自然語言文本的AI技術，廣泛應用於報告生成、聊天機器人等。

困惑度衡量語言模型預測文本序列的能力，數值越低代表模型預測能力越好，對文本的理解程度越高。

提示詞注入是一種安全漏洞，攻擊者通過惡意設計的提示詞操控大型語言模型的行為，使其忽略或違反原始指令。

透過自動化演算法從多語言文本中萃取或合成的高語義相似度句子對集合，主要用於緩解跨語言任務中的資料稀缺問題。

要求模型跨越字面意義，透過邏輯推演與跨段落分析，推導出未明示結論的進階自然語言處理技術。

檢索增強微調結合了檢索式和生成式模型的優勢，透過檢索相關資訊來增強微調過程，提升模型在特定任務上的效能。

人類回饋強化學習（RLHF）是一種利用人類回饋訊號，訓練強化學習模型，使其行為更符合人類偏好的方法。

一種位置編碼方法，通過複數旋轉操作將位置信息編碼到注意力機制中，相比絕對位置編碼具有更好的外推性能。

規模指AI系統中模型參數、訓練資料與運算資源的量級。擴展規模可顯著提升效能，是推動大型語言模型突破的關鍵因素。

透過計算查詢與鍵的點積並進行縮放，以決定序列中特徵間的關聯權重，是提取上下文資訊的關鍵深度學習機制。

深度學習中根據序列內不同位置的相關性動態分配權重的機制，通過計算查詢（Query）、鍵（Key）、值（Value）的交互，使模型能關注序列中任意位置的信息，無視距離限制。

從未標注資料中自動建立監督信號以訓練模型的學習範式，無需人工標注。

將文字或概念轉換為連續向量空間中數值表示的技術，讓機器能理解並比較資料間的深層意義關聯與相似度。

語意解析是將自然語言文本轉換為機器可讀的邏輯形式或結構化表示的方法，使電腦能精確理解人類意圖。

語義搜尋是一種理解使用者搜尋意圖和上下文的搜尋技術，超越了關鍵字匹配，旨在提供更相關和精確的搜尋結果。

語義空間是將詞彙、句子或文件轉換為多維連續向量的數學模型，使電腦能計算語言的意義相似度與深層關聯。

稀疏注意力機制是一種減少注意力機制計算複雜度的技術，透過只關注輸入序列中的部分元素，降低運算量，提升模型效率。

推測解碼是一種加速大型語言模型推論速度的技術，透過小型模型預測多個token，再由大型模型驗證，減少計算量。

次詞單元化是將單詞拆分為更小的子單元（次詞）的技術，用於解決詞彙量過大和未登錄詞（OOV）問題，提升模型泛化能力。

系統提示詞是用於引導大型語言模型行為的初始指令，影響模型的回應風格、知識範圍和任務執行方式。

將單個張量（矩陣或更高維數組）的計算分割到多個 GPU 設備上，通過跨設備並行計算矩陣乘法等操作的分佈式訓練方法。

為降低自注意力複雜度的技術。透過僅保留分數最高的前 K 個鍵值對參與計算，有效減少記憶體與運算開銷。

限制每次詞彙選擇只從機率最高的 k 個候選詞彙中進行隨機採樣，減少低機率詞彙被錯誤選中的風險。

一種在 AI 生成任務中整合結構化知識圖譜或外部知識庫以引導生成方向，同時優化輸出一致性與事實準確性的統一框架架構。