AI 術語詞典

適配器模組是一種輕量級的模型微調方法，透過在預訓練模型中插入少量可訓練參數，以適應特定任務，同時保持原始模型參數凍結。

對齊校準是指使AI模型，特別是大型語言模型，的行為與人類意圖、價值觀和倫理規範相符的過程，降低潛在風險。

注意力崩潰指深度神經網路的注意力權重趨向一致，導致模型無法有效區分輸入特徵的現象。

BERT是一種基於Transformer架構的雙向編碼器模型，用於理解文本的語義和上下文，廣泛應用於自然語言理解任務。

雙語評估替代指標（BLEU，Bilingual Evaluation Understudy）是機器翻譯品質評估的自動化量化指標，透過比對機器翻譯輸出與人工參考譯文中 n-gram 的重疊程度，給出 0

位元組對編碼（BPE）是一種資料壓縮技術，也常用於自然語言處理中，作為一種詞彙標記化方法，將單詞分解成更小的子詞單元。

思維鏈是一種讓大型語言模型逐步推理，而非直接給出答案，以提升複雜問題解答正確率的方法

程式碼生成是指利用人工智慧模型，自動產生程式碼片段或完整程式的技術，旨在提高開發效率並降低編碼錯誤。

常識推理是賦予人工智慧運用人類日常生活基礎知識進行邏輯判斷的能力，使其能對未明言情境做出合理推斷。

深度學習模型架構設計，僅使用解碼器（Decoder）層進行文本生成和處理，無需編碼器，通過因果遮蔽使模型只能關注當前位置的歷史信息，實現自迴歸文本生成。

僅解碼器模型是一種專注於自迴歸生成的架構，透過預測下一個詞彙來產生連續文本，為現代語言模型的核心。

直接偏好優化（DPO）是一種直接利用人類偏好資料，優化語言模型，無需訓練獎勵模型的強化學習替代方案。

在提示詞中提供少量（通常 2-10 個）輸入輸出範例，引導語言模型依照示範格式完成任務的提示技術。

基礎模型是使用大量未標記數據訓練的大型模型，可適應多種下游任務，展現出強大的泛化能力和遷移學習能力。

GPT是一種基於Transformer架構的大型語言模型，透過預訓練學習大量文本資料，用於生成文本、翻譯語言、回答問題等。

圖檢索增強（Graph RAG）利用知識圖譜結構化信息，提升檢索效率和答案準確性，優於傳統向量檢索。

混合搜尋結合了多種搜尋技術，例如關鍵字搜尋和語義搜尋，以提高搜尋結果的相關性和準確性，提供更全面的資訊。

指令微調是一種利用特定格式指令資料集，微調預訓練語言模型，使其更精確理解並執行人類指令的技術。

LlamaIndex是一個資料框架，用於連接大型語言模型（LLMs）與您的私有或特定領域的資料，簡化建立基於LLM的應用程式。

邏輯形式生成是將自然語言轉換為結構化、機器可讀且無歧義表達式的過程，為語意分析的核心。

Mamba是一種基於選擇機制的序列模型，旨在解決Transformer在長序列建模上的效率瓶頸，透過硬體感知演算法提升運算速度。

專家混合模型是一種機器學習技術，透過結合多個獨立的「專家」模型，針對不同輸入選擇性地激活特定專家，以提升模型整體效能。

N元語法是一種自然語言處理技術，用於預測序列中下一個詞的概率，基於前N-1個詞的出現頻率。

自然語言理解（NLU）是人工智慧的一個分支，旨在使電腦能夠理解和解釋人類語言的含義，從而執行相關任務。

指機器學習訓練過程中，最佳化演算法為更新模型權重所儲存的動量、變異數等歷史計算數值。

PaLM (Pathways Language Model) 是 Google 開發的大型語言模型，以其卓越的推理能力和多語言處理能力著稱。

策略崩潰是強化學習中因參數更新過度，導致行為迅速退化成單一無效模式的現象，嚴重破壞訓練穩定性。

提示工程是設計與優化輸入給 AI 模型的指令，以引導模型產生更準確、符合需求的回應

QLoRA是LoRA的改進版，使用4位量化技術壓縮預訓練模型，進一步降低記憶體需求，實現在消費級硬體上微調大型模型。

倒數排名融合是一種無需依賴絕對分數的結果融合技術。它透過計算文件在多個獨立檢索系統中排名的倒數並進行加總，藉此產生綜合多方結果的最終排名。

RAG（檢索增強生成）讓 AI 回答問題前先查詢外部知識庫，再結合查到的資料生成答案，大幅減少幻覺、提升回答準確性。

環狀注意力是一種分散式注意力機制，將注意力計算分散到多個設備上，減少單一設備的記憶體需求，適用於超大型模型。

將強化學習技術應用於自然語言處理任務中，透過獎勵機制優化文本生成的序列決策過程。

語義分析旨在理解文本的真實含義，超越字面解釋，提取句子或段落的深層語義結構和關係，賦予機器理解語言的能力。

SentencePiece 是一種獨立於語言的分詞器，它將輸入視為 Unicode 字符序列，並使用 BPE 或 Unigram 算法生成詞彙表。

使用人工標注的高品質示範資料，對預訓練語言模型進行有監督訓練以使其遵循指令的技術。

一種高效的注意力機制，限制每個位置只與一個固定大小的局部上下文窗口內的位置進行注意力計算，減少計算複雜度。

稀疏變換器是一種深度學習架構，透過限制注意力機制的計算範圍降低複雜度，使其能高效處理長序列資料。

指定特殊的詞彙序列，當模型生成到此序列時立即停止生成，用於控制輸出長度和結構邊界。

指引AI模型生成內容的文字指令或問題，是與生成式AI互動的核心方式。

AI 模型透過顯式的中間推理步驟（思維鏈）將複雜問題拆解為可逐步解決的子問題，以提升多步推理任務準確率的方法。

符記是大型語言模型處理文字時，不可分割的最小單位，它可以是一個字、詞，或者更小的子詞

工具使用能力是指大型語言模型利用外部工具（例如API、資料庫）來擴展其功能，完成更複雜任務的能力。

在模型訓練初期逐漸增加學習率的策略，可防止模型權重在訓練剛開始時因過大的梯度更新而崩潰或發散。