---
title: "參數高效微調（Parameter-Efficient Tuning）"
slug: parameter-efficient-tuning
language: zh-TW
source: https://aiterms.tw/terms/parameter-efficient-tuning
updated_at: 2026-07-29
tags: [LoRA, QLoRA, 微調, LLM, 參數效率, 遷移學習]
ipas_term: false
---

# 參數高效微調（Parameter-Efficient Tuning）

只調整少量參數即可讓大型預訓練模型適應特定任務的技術，代表方法包括 LoRA、Adapter 和 Prefix Tuning。

## 完整說明

參數高效微調（Parameter-Efficient Tuning，PET）是一類讓大型語言模型以極低計算成本適應下游任務的微調方法。傳統全參數微調需要更新模型所有參數，計算和儲存成本極高；PET 方法透過凍結絕大部分預訓練參數，僅訓練極少量新增或選定的參數，在效能接近全參數微調的前提下，將訓練成本降低數十到數百倍，讓中小型組織也能客製化大型 AI 模型。

## 常見問題

### LoRA 和全參數微調相比，效果差多少？

在多數任務上，適當選擇 LoRA 秩（rank）的效果與全參數微調非常接近，有時甚至持平。LoRA 的原始論文在 GPT-3 上的實驗顯示，rank=4 到 16 的 LoRA 在多個 NLP 基準測試上達到全參數微調 95% 以上的效果，而只更新 0.01% 的參數。在指令微調（Instruction Tuning）和對話能力提升的任務上，LoRA 效果尤其接近全量微調。差距主要出現在需要大量領域知識注入的場景（如讓模型學習大量私有文件內容），此時全參數微調或結合 RAG 的方案可能效果更好，但 LoRA 配合高品質資料通常也能達到可接受的效果。

### LoRA 的秩（rank）參數 r 怎麼選擇？

LoRA 的秩 r 控制低秩矩陣的大小，決定可訓練參數量與表達能力之間的平衡。r 越大，可訓練參數越多，理論上適應能力越強，但計算成本也越高，且可能過擬合小資料集。r 越小，參數越少，訓練更快、過擬合風險低，但模型適應新任務的能力有限。實務選擇的參考值：對話能力提升、風格遷移等「調整幅度小」的任務，r=4 或 r=8 通常足夠；需要注入新知識或大幅改變輸出格式的任務，可嘗試 r=16 到 r=64；超過 r=64 通常收益遞減。建議在小規模資料子集上快速試驗不同 r 值的驗證集效果，選擇效益最高的設定。

### PET 技術對中小企業有什麼實際意義？

PET 技術（尤其是 LoRA 和 QLoRA）從根本上改變了企業採用客製化 AI 模型的可行性。傳統上微調一個 70B 模型需要十幾台配備 A100 80GB 顯示卡的伺服器，硬體成本數百萬新台幣；QLoRA 讓同樣規模的模型在 2-4 張消費級 RTX 4090 上就能微調，硬體門檻降低超過 100 倍。這使得中型企業（如法律事務所、醫療機構、製造業）能以合理預算，用自己的行業資料微調出專屬的 AI 助理，而不必依賴通用大型模型或昂貴的商業 API。從應用規劃師的角度，評估客製化 AI 方案時，PET 技術是平衡效果與成本的關鍵選項，值得在方案設計中優先考慮。

---

來源：https://aiterms.tw/terms/parameter-efficient-tuning
快查頁：https://aiterms.tw/terms/parameter-efficient-tuning
最後更新：2026/07/29
深度解說：https://aiterms.tw/learning/what-is-parameter-efficient-tuning