解析:
Query(查詢)代表「我在找什麼資訊」,Key(鍵)代表「我的特徵標籤是什麼」,Value(值)代表「我攜帶的實際內容」。注意力分數透過 Q 與 K 的點積計算得出,再用來加權 V 以獲得最終輸出。
注意力機制是一種讓模型在處理序列資料時,自動聚焦於輸入中最相關部分的計算方法,是 Transformer 架構的核心運算單元。|本頁含完整原理、應用場景、iPAS 考試重點與 2 個常見問答。
搜尋意圖: 如果你在找「注意力機制 是什麼」、「注意力機制 會怎麼考」或「注意力機制 和相近概念差在哪」,先看這頁的定義、考點定位與延伸比較。
TL;DR: 注意力機制是一種讓模型在處理序列資料時,自動聚焦於輸入中最相關部分的計算方法,是 Transformer 架構的核心運算單元。
實用情境: 適合用在 iPAS 複習、面試快查與閱讀 AI 文章時快速校正概念邊界。
下一步: 先讀完定義,再往下看範例考題與延伸比較,把概念轉成可作答的判斷。
注意力機制是一種讓模型在處理序列資料時,自動聚焦於輸入中最相關部分的計算方法,是 Transformer 架構的核心運算單元。
注意力機制(Attention Mechanism)最早由 Bahdanau 等人於 2014 年提出,用於改善機器翻譯中的序列對齊問題。其核心思想是讓模型在生成輸出的每一步,都能根據「相關性」動態分配不同的權重給輸入序列中的各個位置。自注意力(Self-Attention)是其重要變體,讓序列中的每個元素都能與同一序列中的所有其他元素計算相關性。Transformer 中的多頭注意力(Multi-Head Attention)進一步擴展了這個概念,透過多組平行的注意力運算來捕捉不同面向的語意關係。
注意力機制 屬於 高頻 範圍,建議和相關概念一起複習,而不是只背單一名詞定義。
常見一起複習的方向包含:注意力計算原理、自注意力與交叉注意力差異、Q/K/V 概念。
Q(Query)、K(Key)、V(Value)是注意力機制中的三個核心向量。Query 代表「我在找什麼」,Key 代表「我有什麼特徵」,Value 代表「我攜帶的實際資訊」。注意力分數透過 Q 和 K 的點積計算,再用來加權 V。
概念上相似但機制不同。人類注意力是選擇性聚焦,而模型的注意力機制是為所有輸入計算「重要性權重」,讓模型自動學會該關注哪些部分,是一種軟性的加權選擇。
在注意力機制中,Q(Query)、K(Key)、V(Value)三個向量的作用分別是什麼?
解析:
Query(查詢)代表「我在找什麼資訊」,Key(鍵)代表「我的特徵標籤是什麼」,Value(值)代表「我攜帶的實際內容」。注意力分數透過 Q 與 K 的點積計算得出,再用來加權 V 以獲得最終輸出。
想測試你對 注意力機制 的掌握程度? 開始模擬考