解析:
Transformer 的核心是自注意力機制(Self-Attention),它讓模型能同時關注輸入序列中所有位置的資訊,捨棄了 RNN 的循環運算和 CNN 的卷積運算。
Transformer 是一種基於自注意力機制(Self-Attention)的深度學習架構,能平行處理序列資料,是 GPT、BERT 等大型語言模型的核心基礎。|本頁含完整原理、應用場景、iPAS 考試重點與 2 個常見問答。
搜尋意圖: 如果你在找「Transformer 是什麼」、「Transformer 會怎麼考」或「Transformer 和相近概念差在哪」,先看這頁的定義、考點定位與延伸比較。
TL;DR: Transformer 是一種基於自注意力機制(Self-Attention)的深度學習架構,能平行處理序列資料,是 GPT、BERT 等大型語言模型的核心基礎。
實用情境: 適合用在 iPAS 複習、面試快查與閱讀 AI 文章時快速校正概念邊界。
下一步: 先讀完定義,再往下看範例考題與延伸比較,把概念轉成可作答的判斷。
Transformer 是一種基於自注意力機制(Self-Attention)的深度學習架構,能平行處理序列資料,是 GPT、BERT 等大型語言模型的核心基礎。
Transformer 的核心概念是「注意力機制」。傳統的循環神經網路(RNN)在處理文字序列時,必須依序讀取每個字詞,這導致長文本的處理效率低落,且容易遺忘前面的資訊。Transformer 透過自注意力機制,讓模型能一次性處理整段文字,並為每個字詞分配不同的「注意力權重」。
自注意力的運作方式可以簡化理解:對於輸入序列中的每個字詞,模型會計算它與其他所有字詞之間的「相關性分數」。這讓模型能理解「它」指的是哪個名詞,或者「銀行」在不同語境下的含義差異。
Transformer 使用多組注意力運算(多頭),每組關注不同面向的語意關係。例如一組可能關注語法結構,另一組關注語意相似性。
由於 Transformer 不像 RNN 有天然的順序概念,它需要額外加入位置編碼,讓模型知道每個字詞在序列中的位置。
根據歷年統計,Transformer 相關題目平均佔 AI 技術類考題的 12%,是高頻考點。常見出題方向包含:
Transformer 屬於 高頻 範圍,建議和相關概念一起複習,而不是只背單一名詞定義。
常見一起複習的方向包含:注意力機制原理、Transformer 與 RNN/CNN 比較、衍生模型區分。
RNN 循序處理序列資料,無法平行運算且容易遺忘長距離資訊。Transformer 透過自注意力機制一次處理整段序列,可高度平行化且能捕捉長距離依賴關係。
是的。GPT 使用 Transformer 的解碼器部分(Decoder-only),專精於文本生成。BERT 使用編碼器部分(Encoder-only),專精於文本理解任務如分類和問答。
Transformer 架構的核心運算機制為何?
解析:
Transformer 的核心是自注意力機制(Self-Attention),它讓模型能同時關注輸入序列中所有位置的資訊,捨棄了 RNN 的循環運算和 CNN 的卷積運算。
下列哪項是 Transformer 相較於 RNN 的主要優勢?
解析:
Transformer 的自注意力機制可以平行處理整個序列,不像 RNN 必須逐步處理。這使得 Transformer 在 GPU 上的訓練效率遠高於 RNN。
想測試你對 Transformer 的掌握程度? 開始模擬考