---
title: "安全強化學習（Safe Reinforcement Learning）"
slug: safe-reinforcement-learning
language: zh-TW
source: https://aiterms.tw/terms/safe-reinforcement-learning
updated_at: 2026-07-30
tags: [強化學習, 安全, 約束優化, 風險管理]
ipas_term: false
---

# 安全強化學習（Safe Reinforcement Learning）

在強化學習訓練過程中加入安全約束，確保智能體的行為不違反安全界限。

## 完整說明

安全強化學習（Safe RL）研究如何在探索與學習過程中強制執行安全約束，防止智能體執行危險動作。在醫療、自駕車、機器人等高風險領域，智能體在訓練階段可能會嘗試危險行為探索，安全強化學習透過約束、監督或獎勵調整來阻止這些行為。

## 常見問題

### 如何衡量強化學習系統是否足夠安全以部署？

沒有單一標準，通常需綜合評估：第一，形式驗證：如果可行，證明所有可能策略都滿足安全屬性；第二，實證評估：在足夠多的測試場景（包括邊界情況與失敗情景）下驗證，成功率與失敗成本評估；第三，對比基線：與人類決策或已部署系統的安全記錄對比；第四，降級機制：確保部署環境中存在安全監督者或回退機制，能在AI決策危險時介入；第五，持續監控：部署後監控實時性能，發現異常立即停止服務。

### 為什麼不直接用規則引擎而是要用安全強化學習？

規則引擎（IF-THEN硬編碼）在安全性上確實強於RL，但有致命局限：第一，預見性不足：無法列舉所有邊界情況與新的威脅；第二，靈活性差：環境變化或新需求時需要手動更新規則，成本高；第三，次優性：規則往往過度保守，可能放棄有益的機會。安全強化學習試圖在兩端平衡：通過約束確保基本安全邊界，同時允許在安全邊界內優化決策。對於複雜環境與多樣化場景，安全RL能提供更靈活的解決方案。

### 監督式安全強化學習中，人類監督者何時應該介入？

理想的介入政策平衡效率與安全：過度介入限制了智能體的自主學習與探索，過少介入則可能導致危險。最佳做法：第一，預設敏感度高：初期設定保守的介入閾值，優先安全；第二，基於信心度動態調整：隨著智能體展現安全性，逐漸放寬約束，進行「漸進式解除管制」；第三，用不確定性指導：在智能體的決策不確定性高的狀態優先介入；第四，離線學習時最寬松：訓練中多允許嘗試，真實部署時最保守。

---

來源：https://aiterms.tw/terms/safe-reinforcement-learning
快查頁：https://aiterms.tw/terms/safe-reinforcement-learning
最後更新：2026/07/30
深度解說：https://aiterms.tw/learning/what-is-safe-reinforcement-learning