術語詞典

Transformer(Transformer)是什麼?

Transformer 是一種基於自注意力機制(Self-Attention)的深度學習架構,能平行處理序列資料,是 GPT、BERT 等大型語言模型的核心基礎。|本頁含完整原理、應用場景、iPAS 考試重點與 2 個常見問答。

英文
Transformer
主題標籤
深度學習、NLP、模型架構
考點定位
高頻
最後更新
2026/06/17
Transformer(Transformer)是什麼? iPAS 高頻 深度學習NLP
術語快查

搜尋意圖: 如果你在找「Transformer 是什麼」、「Transformer 會怎麼考」或「Transformer 和相近概念差在哪」,先看這頁的定義、考點定位與延伸比較。

TL;DR: Transformer 是一種基於自注意力機制(Self-Attention)的深度學習架構,能平行處理序列資料,是 GPT、BERT 等大型語言模型的核心基礎。

實用情境: 適合用在 iPAS 複習、面試快查與閱讀 AI 文章時快速校正概念邊界。

下一步: 先讀完定義,再往下看範例考題與延伸比較,把概念轉成可作答的判斷。

Transformer 是一種基於自注意力機制(Self-Attention)的深度學習架構,能平行處理序列資料,是 GPT、BERT 等大型語言模型的核心基礎。

Transformer 的運作原理

Transformer 的核心概念是「注意力機制」。傳統的循環神經網路(RNN)在處理文字序列時,必須依序讀取每個字詞,這導致長文本的處理效率低落,且容易遺忘前面的資訊。Transformer 透過自注意力機制,讓模型能一次性處理整段文字,並為每個字詞分配不同的「注意力權重」。

自注意力機制(Self-Attention)

自注意力的運作方式可以簡化理解:對於輸入序列中的每個字詞,模型會計算它與其他所有字詞之間的「相關性分數」。這讓模型能理解「它」指的是哪個名詞,或者「銀行」在不同語境下的含義差異。

多頭注意力(Multi-Head Attention)

Transformer 使用多組注意力運算(多頭),每組關注不同面向的語意關係。例如一組可能關注語法結構,另一組關注語意相似性。

位置編碼(Positional Encoding)

由於 Transformer 不像 RNN 有天然的順序概念,它需要額外加入位置編碼,讓模型知道每個字詞在序列中的位置。

Transformer 的應用場景

  1. 自然語言處理:翻譯、文本生成、情感分析、問答系統
  2. 電腦視覺:Vision Transformer(ViT)將圖片切割成 patch 序列處理
  3. 語音辨識:Whisper 等模型使用 Transformer 進行端到端語音轉文字
  4. 多模態 AI:GPT-4V、Gemini 等可同時處理文字和影像

在 iPAS 考試中的重點

根據歷年統計,Transformer 相關題目平均佔 AI 技術類考題的 12%,是高頻考點。常見出題方向包含:

  • 注意力機制的原理(佔 40%)
  • Transformer 與 RNN/CNN 的差異比較(佔 35%)
  • Transformer 衍生模型的區分(佔 25%)

iPAS 考試出題分析

Transformer 屬於 高頻 範圍,建議和相關概念一起複習,而不是只背單一名詞定義。

常見一起複習的方向包含:注意力機制原理、Transformer 與 RNN/CNN 比較、衍生模型區分。

常見問題

Transformer 和 RNN 的主要差異是什麼?

RNN 循序處理序列資料,無法平行運算且容易遺忘長距離資訊。Transformer 透過自注意力機制一次處理整段序列,可高度平行化且能捕捉長距離依賴關係。

GPT 和 BERT 都是 Transformer 嗎?

是的。GPT 使用 Transformer 的解碼器部分(Decoder-only),專精於文本生成。BERT 使用編碼器部分(Encoder-only),專精於文本理解任務如分類和問答。

範例考題

Transformer 架構的核心運算機制為何?

  • A. 卷積運算(Convolution)
  • B. 自注意力機制(Self-Attention) ✓ 正確答案
  • C. 循環運算(Recurrence)
  • D. 池化運算(Pooling)

解析:

Transformer 的核心是自注意力機制(Self-Attention),它讓模型能同時關注輸入序列中所有位置的資訊,捨棄了 RNN 的循環運算和 CNN 的卷積運算。

下列哪項是 Transformer 相較於 RNN 的主要優勢?

  • A. 記憶體使用量較低
  • B. 支援平行運算,訓練效率更高 ✓ 正確答案
  • C. 模型參數量較少
  • D. 不需要 GPU 就能訓練

解析:

Transformer 的自注意力機制可以平行處理整個序列,不像 RNN 必須逐步處理。這使得 Transformer 在 GPU 上的訓練效率遠高於 RNN。