AI 術語詞典

規模指AI系統中模型參數、訓練資料與運算資源的量級。擴展規模可顯著提升效能，是推動大型語言模型突破的關鍵因素。

透過計算查詢與鍵的點積並進行縮放，以決定序列中特徵間的關聯權重，是提取上下文資訊的關鍵深度學習機制。

規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。

深度學習中根據序列內不同位置的相關性動態分配權重的機制，通過計算查詢（Query）、鍵（Key）、值（Value）的交互，使模型能關注序列中任意位置的信息，無視距離限制。

從未標注資料中自動建立監督信號以訓練模型的學習範式，無需人工標注。

語義分析旨在理解文本的真實含義，超越字面解釋，提取句子或段落的深層語義結構和關係，賦予機器理解語言的能力。

將文字或概念轉換為連續向量空間中數值表示的技術，讓機器能理解並比較資料間的深層意義關聯與相似度。

Semantic Kernel是一個輕量級的開源SDK，使您可以將大型語言模型（LLMs）與傳統程式語言（如C#、Python）整合，建立AI應用。

語意解析是將自然語言文本轉換為機器可讀的邏輯形式或結構化表示的方法，使電腦能精確理解人類意圖。

語義搜尋是一種理解使用者搜尋意圖和上下文的搜尋技術，超越了關鍵字匹配，旨在提供更相關和精確的搜尋結果。

語義空間是將詞彙、句子或文件轉換為多維連續向量的數學模型，使電腦能計算語言的意義相似度與深層關聯。

SentencePiece 是一種獨立於語言的分詞器，它將輸入視為 Unicode 字符序列，並使用 BPE 或 Unigram 算法生成詞彙表。

使用人工標注的高品質示範資料，對預訓練語言模型進行有監督訓練以使其遵循指令的技術。

一種高效的注意力機制，限制每個位置只與一個固定大小的局部上下文窗口內的位置進行注意力計算，減少計算複雜度。

稀疏注意力機制是一種減少注意力機制計算複雜度的技術，透過只關注輸入序列中的部分元素，降低運算量，提升模型效率。

稀疏變換器是一種深度學習架構，透過限制注意力機制的計算範圍降低複雜度，使其能高效處理長序列資料。

推測解碼是一種加速大型語言模型推論速度的技術，透過小型模型預測多個token，再由大型模型驗證，減少計算量。

指定特殊的詞彙序列，當模型生成到此序列時立即停止生成，用於控制輸出長度和結構邊界。

次詞單元化是將單詞拆分為更小的子單元（次詞）的技術，用於解決詞彙量過大和未登錄詞（OOV）問題，提升模型泛化能力。

系統提示詞是用於引導大型語言模型行為的初始指令，影響模型的回應風格、知識範圍和任務執行方式。