---
title: "直接偏好優化（Direct Preference Optimization）"
slug: direct-preference-optimization
language: zh-TW
source: https://aiterms.tw/terms/direct-preference-optimization
updated_at: 2026-04-29
tags: [強化學習, 大型語言模型, 模型訓練, 自然語言處理, 生成式AI, 最佳化]
ipas_term: false
---

# 直接偏好優化（Direct Preference Optimization）

> **你想讓模型更像人類喜歡的回答，而不是只追求高分嗎？**
> 你可以把 直接偏好優化 想成直接把人類偏好寫進模型訓練的方式。
> 它其實就是不用先訓練獎勵模型，而是直接用偏好對比去調整語言模型。
> 直接偏好優化（DPO）是一種直接利用人類偏好資料，優化語言模型，無需訓練獎勵模型的強化學習替代方案。當你想省步驟、降複雜度、又保留偏好對齊時，這個方法很有吸引力。

### 容易混淆
> **vs 基於人類回饋的強化學習 (RLHF)**
> RLHF 像讓模型先學會「討好」一個評分機器人（獎勵模型），再讓評分機器人指導它；DPO 則直接讓模型看「人類的喜好」，少了一個中間環節，訓練起來更直接、更穩定。
>
> **人類回饋強化學習 vs 獎勵建模**
> 人類回饋強化學習 比較像同一類問題裡的近鄰參考，獎勵建模 則更像把資料或結構往更深一層整理，兩者的用法不一樣。
>
> **最關鍵的區別：** 先看它是在做「理解、生成、分組、保護」哪一件事，再看細節。

### 記住這句就好
> 直接學人類偏好，少繞一圈獎勵模型

### 實際案例
> **案例一：直接偏好優化 調整聊天模型**
> 你不想再訓練一個獎勵模型，只想讓模型更偏向人類喜歡的回答，DPO 就是這種做法。
>
> **案例二：直接偏好優化 比較兩個回覆**
> 給模型一對偏好樣本，讓它直接學哪個答案比較符合人類口味，流程會比傳統 RLHF 更短。

### 深入了解
> DPO 的做法是直接用偏好對比來調整模型輸出機率
> 和 RLHF 相比，它少了獎勵模型這一段，流程更短、調參也通常更直觀
> 但它還是很吃偏好資料品質，資料歪了，模型也會跟著歪
>
> 直接偏好優化 真正重要的，不是名詞本身，而是它幫你解決的是哪一類問題。

### 情境判斷
> **Q1（直覺題）：** 如果你只想讓模型更符合人類喜好，還需要先訓練一個獎勵模型嗎？
> → 不一定，DPO 就是想少走這一步，直接用偏好資料來調整模型。
>
> **Q2（判斷題）：** 少一步就代表一定比較好嗎？
> → 看情況，因為流程更簡單不代表資料品質要求變低，偏好標註若有偏差，模型還是會被帶歪。
>
### 常見問題
> **Q：DPO相比RLHF有哪些優勢？**
> DPO相比RLHF的主要優勢在於簡化了訓練流程，降低了複雜性和訓練成本。DPO避免了訓練獎勵模型的步驟，直接利用人類偏好資料優化語言模型，因此更容易實施和調試。此外，DPO通常具有更穩定的訓練過程，避免了獎勵模型訓練不穩定可能導致的問題。總體而言，DPO是一種更高效、更易於使用的RLHF替代方案。
>
> **Q：DPO對人類偏好資料的品質有什麼要求？**
> DPO對人類偏好資料的品質要求很高。偏好資料需要盡可能準確地反映人類的真實偏好，並且需要避免偏差。為了確保資料品質，可以採用多種方法，例如提供清晰的指導、邀請多樣化的回饋者、對回饋者進行培訓、進行一致性檢查等。此外，可以使用主動學習等方法，選擇最需要人類回饋的樣本進行標註，以提高資料的效率。
>
> **Q：DPO是否適用於所有類型的語言模型？**
> DPO理論上適用於所有類型的語言模型，但實際效果可能因模型結構和訓練資料而異。DPO通常在大型語言模型上表現良好，因為這些模型具有較強的表達能力和泛化能力。對於較小的模型，可能需要更多的資料或更精細的調整才能獲得良好的效果。此外，DPO的性能還受到偏好模型的影響，因此選擇合適的偏好模型也很重要。
>
### 相關術語
> - **人類回饋強化學習**：讀完這個再看它，可以把上下游概念串起來
> - **獎勵建模**：讀完這個再看它，可以把上下游概念串起來
> - **對齊校準**：讀完這個再看它，可以把上下游概念串起來
> - **大型語言模型**：讀完這個再看它，可以把上下游概念串起來
> - **獎勵函數**：讀完這個再看它，可以把上下游概念串起來

---

來源：https://aiterms.tw/terms/direct-preference-optimization
快查頁：https://aiterms.tw/terms/direct-preference-optimization
最後更新：2026/04/29
深度解說：https://aiterms.tw/learning/what-is-direct-preference-optimization