AI 術語詞典

一種在分散式系統中進行資料聚合與同步的通訊操作，確保所有計算節點最終獲得完全相同的整合結果。

集束搜尋是一種啟發式搜尋演算法，用於序列預測任務，它在每個時間步保留多個最有可能的候選序列（集束），而非僅僅選擇最佳選項。

模型基準測試是一套標準化的評估任務與資料集，用來客觀衡量並比較不同 AI 模型的各項性能與實際能力。

雙向語境是同時參考目標元素前後文資訊的技術，能大幅提升模型對整體脈絡與語意的理解精準度。

能同時處理序列的前向和後向上下文，在每個位置都能看到完整序列信息的神經網路編碼器，相比單向模型提供更豐富的上下文表示，是 BERT 等預訓練模型的核心。

因果語言模型是一種語言模型，它基於序列中先前詞彙預測下一個詞彙，並明確建模詞彙之間的因果關係，以提升生成文本的連貫性和可控性。

思維鏈提示是一種Prompt工程技術，透過引導模型逐步推理，提升複雜問題的解答品質與可解釋性。

聊天機器人是一種能模擬人類對話的電腦程式，透過文字或語音與使用者互動，提供資訊、協助解決問題或執行特定任務。

完形填空任務是一種語言理解測試，透過移除文本中的部分詞彙，要求模型或人類填補缺失部分，以評估其對上下文的理解能力。

憲法式AI原則是一種透過明確的價值觀或「憲法」來引導AI系統行為的方法，旨在確保AI的輸出符合人類的期望和倫理標準。

上下文窗口是指，大型語言模型一次性能處理的最大 Token 數量，超過此限制模型便會遺忘先前的內容

有效利用 LLM 的上下文窗口（模型能處理的最大序列長度），在有限的空間內優先放置最重要的信息，避免超長內容丟失或品質下降。

對話式人工智慧是指能透過自然語言與人類進行互動的AI系統，例如聊天機器人或語音助理，旨在提供更自然、直觀的互動體驗。

Copilot 是一個 AI 程式碼助手，透過分析程式碼上下文，提供程式碼建議、自動完成和程式碼生成，提升開發效率。

語料庫是大量結構化的文本集合，用於語言研究和自然語言處理，提供真實語言使用的範例，用於訓練和評估模型。

稠密檢索模型使用神經網路將查詢和文檔嵌入到一個低維向量空間中，通過計算向量相似度來檢索相關文檔，克服了傳統方法的詞彙不匹配問題。

湧現能力是指大型語言模型在達到一定規模後，突然展現出在較小模型中未曾觀察到的複雜能力，例如推理、翻譯和程式碼生成。

閃電注意力機制是一種優化注意力計算的技術，透過重新排序計算步驟和利用硬體加速，大幅提升注意力計算的速度和記憶體效率。

利用離散神經記憶碼本對知識編輯目標局部化的大型語言模型知識修正框架。

貪婪解碼是一種序列生成方法，在每個時間步選擇概率最高的詞作為輸出，直到生成終止符號或達到最大長度。它簡單快速，但可能陷入局部最佳解。

AI安全護欄是用於限制AI系統行為，確保其符合預期規範和倫理標準的機制，防止產生有害或不當的輸出。

AI 幻覺是大型語言模型產生自信但事實錯誤或無中生有內容的現象，是 LLM 部署的主要風險

假設性文件嵌入是一種檢索技術，透過語言模型先生成假設解答，再將該解答轉為向量以搜尋真實文件。

上下文學習 (In-context Learning) 指的是大型語言模型無需額外訓練，僅通過輸入範例即可學習新任務的能力。

上下文學習理論指大型語言模型無需額外訓練，僅憑藉輸入提示中的範例，即可執行新任務的能力，展現了模型泛化的潛力。

一種對大型語言模型或其他 AI 系統的攻擊方法，通過巧妙地設計輸入提示詞或利用模型的漏洞，繞過系統的安全防護和內容政策限制，使模型生成原本應該被阻止的內容，如有害建議、違法信息或有成見的輸出。

知識圖譜（Knowledge Graph）是以圖結構儲存實體（Entity）及其關係（Relation）的語意知識庫，透過「主體-關係-客體」三元組表示現實世界的知識，廣泛應用於搜尋引擎增強、問答系統

在AI中，「語言」專指機器對人類自然語言的理解與生成能力，是實現人機順暢溝通與通用人工智慧的關鍵技術橋樑。

LLaMA（Large Language Model Meta AI）是 Meta 開發的開放權重（open-weight）大型語言模型系列，可免費下載、修改、自行部署，採 Meta 自訂 community license 授權，非 OSI 認證開源。

以大型語言模型為核心決策引擎，結合工具調用與記憶機制，自主規劃並執行多步驟任務的 AI 系統。

LoRA是一種參數高效的微調技術，透過學習低秩矩陣來適應預訓練模型，大幅減少訓練參數，降低計算成本。

透過在預訓練模型的權重矩陣旁插入低秩分解矩陣來進行參數高效微調的技術。

遮蔽語言模型（MLM）是一種自監督學習方法，隨機遮蔽輸入文本的部分詞語，並訓練模型預測這些被遮蔽的詞語。

模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。

根據累積機率選擇詞彙範圍，只從機率累計達到設定閾值（如 90%）的最少詞彙中採樣，比 Top-k 更能適應不同機率分布。

將深度神經網路的不同層分配到不同的 GPU 設備上，讓多個 micro-batch 在不同層上交叉執行以提高 GPU 利用率的分佈式訓練方法。

前綴調整法是一種參數高效的微調技術，通過在輸入序列前添加可訓練的前綴向量，來引導預訓練模型生成期望的輸出，同時保持原始模型參數凍結。

查詢重寫是將使用者原始輸入轉換為更精確檢索字串的技術，能解決詞彙不匹配問題，提升搜尋結果準確度。

ReAct框架是一種結合推理（Reasoning）和行動（Acting）的AI Agent框架，允許模型在解決問題的過程中進行思考、規劃和執行。

在生成過程中對已經出現的詞彙施加機率懲罰，抑制模型重複使用相同詞彙或短語，提高文本多樣性。

從大規模資料庫中快速且精準地找出與使用者查詢高度相關的資訊或文件的核心技術。

一種在強化學習系統中出現的現象，指智能體發現並利用獎勵函數的漏洞或意外行為來獲得高分，而不是實現設計者的實際目標。這種遺漏通常源於獎勵函數與真實目標之間的不完全對齐。

獎勵建模是訓練AI模型以預測人類對不同結果的偏好，用於強化學習中，引導模型學習符合人類價值的行為。

規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。

Semantic Kernel是一個輕量級的開源SDK，使您可以將大型語言模型（LLMs）與傳統程式語言（如C#、Python）整合，建立AI應用。

T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型，簡化了模型訓練和應用。

透過調整溫度參數，控制語言模型生成文本的隨機程度和多樣性。溫度越低生成越確定，溫度越高生成越隨機。

文本摘要是自然語言處理中的一項任務，旨在從一篇或多篇文章中生成簡潔且信息豐富的摘要。分為抽取式和生成式兩種方法。

向量資料庫是一種專門儲存和檢索向量嵌入的資料庫，能高效處理高維度資料的相似性搜尋，廣泛應用於推薦系統和語義搜尋。

Whisper 是 OpenAI 開發的語音辨識系統，能將語音轉換為文字，支援多種語言，並具備良好的抗噪能力和翻譯功能。