縮放點積注意力 Scaled Dot-Product Attention
iPAS透過計算查詢與鍵的點積並進行縮放,以決定序列中特徵間的關聯權重,是提取上下文資訊的關鍵深度學習機制。
瀏覽 AITerms.tw 中標籤為「自然語言處理」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
透過計算查詢與鍵的點積並進行縮放,以決定序列中特徵間的關聯權重,是提取上下文資訊的關鍵深度學習機制。
識別並映射不同資料源之間語義等效的資料元素,以實現資料整合與互通。
AI中的「自」機制涵蓋自監督學習、自我注意力與自我對弈,強調模型利用自身資訊或內部關聯進行學習。
自注意力是一種機制,讓序列中的每個元素計算彼此關聯度,藉此捕捉序列內部的依賴關係
深度學習中根據序列內不同位置的相關性動態分配權重的機制,通過計算查詢(Query)、鍵(Key)、值(Value)的交互,使模型能關注序列中任意位置的信息,無視距離限制。
語義分析旨在理解文本的真實含義,超越字面解釋,提取句子或段落的深層語義結構和關係,賦予機器理解語言的能力。
將文字或概念轉換為連續向量空間中數值表示的技術,讓機器能理解並比較資料間的深層意義關聯與相似度。
Semantic Kernel是一個輕量級的開源SDK,使您可以將大型語言模型(LLMs)與傳統程式語言(如C#、Python)整合,建立AI應用。
語意解析是將自然語言文本轉換為機器可讀的邏輯形式或結構化表示的方法,使電腦能精確理解人類意圖。
自動識別句子中的謂詞與其論元,並為每個論元標注其語義角色(如施事者、受事者、地點)。
語義搜尋是一種理解使用者搜尋意圖和上下文的搜尋技術,超越了關鍵字匹配,旨在提供更相關和精確的搜尋結果。
語義空間是將詞彙、句子或文件轉換為多維連續向量的數學模型,使電腦能計算語言的意義相似度與深層關聯。
自然語言處理系統能夠理解文字背後的含義與上下文關係的能力。
將整個句子編碼為固定維度的向量,使語義相似的句子在向量空間中距離較近。
SentencePiece 是一種獨立於語言的分詞器,它將輸入視為 Unicode 字符序列,並使用 BPE 或 Unigram 算法生成詞彙表。
情感分析是一種自然語言處理技術,用於識別和提取文本中的主觀情感,例如正面、負面或中性情緒,應用於輿情監控、客戶回饋分析等。
金融情緒分析利用自然語言處理技術,分析新聞、社群媒體等文本數據,提取市場情緒,用於預測股價、風險管理和交易策略。
Seq2Seq模型是一種將一個序列轉換為另一個序列的深度學習模型,廣泛應用於機器翻譯、文本摘要、語音辨識等任務。
序列建模是深度學習領域處理具時間或順序依賴性資料的技術,旨在理解、預測或生成序列模式。
使用編碼器-解碼器架構將一個序列轉換為另一個序列,廣泛應用於翻譯、文本摘要等。
將不同模態資料映射到同一向量空間,使它們可相互比較與理解。
槽位填充是自然語言理解中的一項任務,旨在從文本中提取特定資訊,並將其填入預定義的槽位中,以形成結構化資料。
稀疏注意力機制是一種減少注意力機制計算複雜度的技術,透過只關注輸入序列中的部分元素,降低運算量,提升模型效率。
稀疏檢索是一種資訊檢索方法,它使用稀疏向量來表示查詢和文檔,向量中的非零元素通常表示詞彙的存在或重要性。
稀疏變換器是一種深度學習架構,透過限制注意力機制的計算範圍降低複雜度,使其能高效處理長序列資料。
語者分段旨在識別音訊中不同語者的發言時間段,並將其區分開來,無需事先知道語者身份。
推測解碼是一種加速大型語言模型推論速度的技術,透過小型模型預測多個token,再由大型模型驗證,減少計算量。
拼寫校正是一種自動偵測並修正文本中拼寫錯誤的技術,旨在提高資料品質、增強搜尋精準度與改善使用者體驗。
詞幹提取是自然語言處理中將單詞簡化為其詞幹或詞根形式的過程,通常通過刪除後綴來實現。
次詞單元化是將單詞拆分為更小的子單元(次詞)的技術,用於解決詞彙量過大和未登錄詞(OOV)問題,提升模型泛化能力。
符號推理是人工智慧中一種透過符號表示知識,並運用邏輯規則進行推論的方法,旨在模擬人類的理性思考過程。
系統提示詞是用於引導大型語言模型行為的初始指令,影響模型的回應風格、知識範圍和任務執行方式。