---
title: "自回歸模型（Autoregressive Model）"
slug: autoregressive-model
language: zh-TW
source: https://aiterms.tw/terms/autoregressive-model
updated_at: 2026-07-30
tags: [生成式AI, 語言模型, GPT, 序列生成, 深度學習]
ipas_term: false
---

# 自回歸模型（Autoregressive Model）

依序根據前面所有輸出預測下一個元素的生成式模型架構。

## 完整說明

自回歸模型（Autoregressive Model）是一種生成式機率模型，其核心假設是序列中每個元素的條件機率僅取決於前面所有元素，即模型在生成第 t 個元素時，以第 1 到第 t-1 個元素作為條件輸入，逐步推進完成整個序列的生成。GPT 系列等主流大型語言模型均屬此架構，生成文字時逐詞元（token）預測，直到輸出結束符號為止。

## 常見問題

### 自回歸模型為什麼只能從左到右生成，不能修改已生成的內容？

自回歸模型的數學結構決定了它是單向的條件生成：每個位置的輸出依賴前面所有輸出，一旦某個詞元被採樣輸出，後續生成過程就以此為既定條件繼續推進。若要修改已生成的詞元，等同於改變後續所有詞元的條件分布，整個序列必須重新生成。這也是為什麼 LLM 的推論延遲與生成長度成正比：每多生成一個詞元就多做一次前向傳播。部分研究嘗試透過「草稿-驗證」或「擴散語言模型」等架構突破此限制，但在主流應用中自回歸仍是主要範式。

### 自回歸模型和擴散模型（Diffusion Model）的差別是什麼？

兩者是目前生成式 AI 的兩大主流架構。自回歸模型以序列化的條件預測生成內容，每個步驟輸出一個離散元素（詞元或量化碼），適合語言、程式碼等離散序列的生成，推論步數等於輸出長度。擴散模型則從隨機雜訊開始，透過多步去雜訊（通常數十至數百步）逐漸還原出目標資料，適合影像、音訊、視訊等連續信號的生成，可以並行地修改整個輸出。在語言模型領域自回歸架構仍主導，在影像生成領域擴散模型（如 Stable Diffusion、DALL-E 3 後端）則更為普遍；亦有研究結合兩者優點，如離散擴散語言模型。

### 溫度參數（Temperature）對自回歸模型的輸出有什麼影響？

溫度參數（Temperature，T）是控制自回歸模型輸出多樣性的關鍵超參數。在採樣前，模型輸出的 logit 會除以 T，再做 softmax 轉為機率。當 T 接近 0 時，機率分布趨向集中於最高機率的詞元，輸出幾乎確定性，適合需要精確答案的任務（如數學計算、程式碼生成）；當 T 等於 1 時，使用模型原始分布採樣；當 T 大於 1 時，機率分布趨於平滑，低機率詞元的選取可能性增加，輸出更富創意但可能偏離主題，適合創意寫作等場景。實務上通常在 0.3 至 0.9 之間調整，搭配 Top-p 使用效果更穩定。

---

來源：https://aiterms.tw/terms/autoregressive-model
快查頁：https://aiterms.tw/terms/autoregressive-model
最後更新：2026/07/30
深度解說：https://aiterms.tw/learning/what-is-autoregressive-model