---
title: "互信息（Mutual Information）"
slug: mutual-information
language: zh-TW
source: https://aiterms.tw/terms/mutual-information
updated_at: 2026-07-29
tags: [機器學習, 特徵工程, 模型評估, 統計方法, 資料處理, 電腦視覺, 自然語言處理]
ipas_term: false
---

# 互信息（Mutual Information）

> **你有沒有想過，兩個資料欄位之間到底有沒有真正互相知道對方的資訊？**
> 你可以把它想成看兩個變數有多常一起變、一起出現，關係越強，互信息通常越高。
> 它衡量的是資訊共享量，不只看線性關係，所以比單純相關係數更廣。 這也讓它很適合先拿到可用答案，再慢慢把精度往上推。
>
### 容易混淆

> **互信息 vs 相關係數**
> 互信息：看資訊依賴，不限線性
> 相關係數：主要看線性關係
> 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
>
> **互信息 vs 共變異數**
> 互信息：用資訊角度看關聯
> 共變異數：看兩變數一起變動的方向與程度
> 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
>
### 記住這句就好

> 關係越像彼此透露資訊，互信息越大。
>
### 實際案例

> **特徵選擇**
> 找出和標籤最有資訊關聯的欄位，留下真正有用的特徵。
>
> **影像配準**
> 比較兩張影像是否對齊時，互信息可以當作相似度指標。
>
### 算法與應用

> 互信息可寫成聯合分佈和邊際分佈差異的量。
> 如果兩個變數完全獨立，互信息就是 0。
> 它常用在特徵選擇、配準、以及資訊理論分析裡。
>

### 公式與它在量什麼

> 互資訊衡量「知道 X 之後，對 Y 的不確定性減少了多少」：
>
> `I(X;Y) = H(Y) − H(Y|X)`
>
> H(Y) 是 Y 本身的熵，H(Y|X) 是知道 X 之後 Y 剩下的熵。兩者相減就是 X 提供的資訊量。
>
> 也可以寫成雙重加總的形式：
>
> `I(X;Y) = Σ Σ p(x,y) × log( p(x,y) / (p(x)p(y)) )`
>
> 這個形式看得出它的本質：比較「實際的聯合分布」與「假設兩者獨立時的分布」差多遠。完全獨立時 p(x,y) = p(x)p(y)，log 內是 1，整個值等於 0。

### 跟相關係數差在哪，這是它最常被問的問題

| 項目 | 皮爾森相關係數 | 互資訊 |
| --- | --- | --- |
| 抓什麼關係 | 只抓線性 | 任何形式的關係 |
| 值域 | −1 到 1 | 0 到無限大 |
| 有方向嗎 | 有正負 | 沒有，只有強弱 |
| 適用資料 | 連續變數為主 | 連續與類別都行 |
| 計算難度 | 一條公式 | 連續變數要估機率密度，較麻煩 |

> 關鍵差別在第一列。一個完美的拋物線關係，相關係數可能是 0，互資訊卻很大，因為知道 X 確實完全決定了 Y。所以互資訊抓得到相關係數看不見的非線性關係。
>
> 代價是它沒有方向性，也沒有一個直觀的強弱標準（不像 r 有 0 到 1 的尺度）。需要可比較的尺度時可以用正規化互資訊（NMI），把它除以兩者熵的某種平均，壓到 0 到 1。
>
> **實務用途：**
>
> 特徵選擇時用互資訊排序，能挑出跟目標有非線性關係的欄位，比只看相關係數涵蓋得廣。
>
> 分群結果的評估常用調整互資訊（AMI）或 NMI，衡量分群結果跟真實標籤有多一致。
>
> 表示學習裡有一整條路線是最大化互資訊，例如對比學習的 InfoNCE 損失，本質上是在最大化同一筆資料兩個視角之間的互資訊下界。

### 情境判斷

> **Q1（直覺題）：你想找出和是否購買最有關的特徵，該優先看什麼？**
> → 互信息，因為它能看出特徵和標籤之間的資訊關聯。
>
> **Q2（判斷題）：如果兩個變數幾乎是彎曲關係，相關係數接近 0，還能說完全沒關係嗎？**
> → 不能，這時互信息可能仍然很高，因為它能抓非線性關聯。
>
### 常見問題

> **Q：互信息一定介於 0 和 1 嗎？**
> 不一定，和資料尺度無關的相對值，不是機率。
>
> **Q：它可以用在連續變數嗎？**
> 可以，但估計方式會更難，常需要分箱或密度估計。
>
> **Q：互信息越大就越好嗎？**
> 不一定，要看你的任務是要找關聯、做選擇，還是做預測。
>
### 相關術語

> - **資訊理論**：互信息就是這個領域的核心量之一。
> - **熵**：理解熵，才看得懂資訊量怎麼被分解。
> - **KL散度**：互信息常和它一起出現。
> - **相關係數**：最常拿來對比的簡單關聯指標。
> - **共變異數**：另一個常一起比較的統計量。

---

來源：https://aiterms.tw/terms/mutual-information
快查頁：https://aiterms.tw/terms/mutual-information
最後更新：2026/07/29
深度解說：https://aiterms.tw/learning/what-is-mutual-information