---
title: "多模態 AI（Multimodal AI）"
slug: multimodal-ai
language: zh-TW
source: https://aiterms.tw/terms/multimodal-ai
updated_at: 2026-07-29
tags: [多模態, 生成式AI, 視覺語言模型, iPAS中級]
ipas_term: true
---

# 多模態 AI（Multimodal AI）

> **你有沒有想過，AI 不只看文字，也能同時看圖、聽聲音、理解影片？**
> 你可以把它想成一個人同時看簡報、聽講解、再看圖表，最後把所有資訊合在一起判斷。
> 多模態 AI 的重點是跨資料型態整合，不只是各自看懂，而是把不同模態一起用來做決策。 這也讓它很適合先拿到可用答案，再慢慢把精度往上推。
>
### 容易混淆

> **多模態 AI vs 多模態學習**
> 多模態 AI：更大的應用概念，重點在跨模態理解與輸出
> 多模態學習：偏方法與訓練策略，重點在怎麼把模態學好
> 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
>
> **多模態 AI vs 單模態 AI**
> 多模態 AI：同時處理多種輸入
> 單模態 AI：只看一種資料，例如只有文字或只有圖片
> 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
>
### 記住這句就好

> 能一起看圖、聽聲、讀字，才叫多模態。
>
### 實際案例

> **看圖回答**
> 使用者上傳菜單照片，系統讀出餐名、價格，再結合文字問題回答推薦。
>
> **客服錄音**
> 系統同時分析通話聲音與對話文字，判斷客戶情緒和需求。
>
### 算法與應用

> 多模態 AI 常靠對齊、融合、和共同表示學習，把不同模態映射到可比較的空間。
> 難點在於模態間資訊密度不同，圖像像素多，文字離散，聲音又有時間序列特性。
> 做得好時，它會比只看單一模態更完整，也更接近人類理解世界的方式。
>

### 中英對照與模態指的是什麼

| 中文 | 英文 | 說明 |
| --- | --- | --- |
| 多模態 | multimodal | 同時處理兩種以上不同型態的資料 |
| 模態 | modality | 一種資料型態，例如文字、影像、聲音、影片 |
| 單模態 | unimodal | 只處理一種 |
| 跨模態檢索 | cross-modal retrieval | 用一種模態去搜另一種，例如用文字搜圖 |
| 模態對齊 | modality alignment | 讓不同模態的表示落在同一個空間 |

> 常見的模態除了文字、影像、聲音、影片之外，還包括表格資料、時間序列、3D 點雲、感測器訊號、生物訊號。自駕車同時吃攝影機、光達與雷達，那也是多模態。

### 不同模態怎麼合在一起

> 核心難題是：文字是離散的符號序列，影像是連續的像素矩陣，聲音是波形。要讓模型同時處理，必須先把它們變成可以放在一起的東西。
>
> 主流做法是各自用一個編碼器轉成向量，再想辦法讓這些向量落在同一個語意空間裡，這樣「一張貓的照片」與「貓」這兩個字才會靠在一起。CLIP 用的就是這個做法，靠大量圖文配對做對比學習來對齊。
>
> 融合的時機分三種：

| 融合方式 | 做法 | 特點 |
| --- | --- | --- |
| 早期融合 | 在輸入層就把不同模態拼起來 | 能學到細緻的跨模態關係，但需要嚴格對齊的資料 |
| 中期融合 | 各自編碼後在中間層互動 | 現在最常見，例如用交叉注意力 |
| 晚期融合 | 各自處理到最後才合併結論 | 最簡單、模組可獨立更換，但學不到深層互動 |

> 現在的多模態大型語言模型多半走中期融合的變體：先用視覺編碼器把影像轉成一串向量，透過一個投影層對到語言模型的嵌入空間，然後當作特殊的 token 塞進語言模型。這樣可以直接沿用既有的語言模型能力。

### 實務上要注意的兩件事

> **模態失衡。** 訓練時某一個模態的訊號特別強，模型會偷懶只看那一個。例如影片分類任務裡，模型可能光靠聲音就能猜對大部分，於是根本不學畫面。要在評估時刻意遮蔽單一模態來檢查。
>
> **模態缺失。** 上線後某個模態可能拿不到（麥克風壞了、圖片載入失敗）。設計時就要決定：是退回單模態模式，還是直接拒絕服務。事後補救通常很痛。

### 情境判斷

> **Q1（直覺題）：你要做一個能看商品照片、讀商品標題、再回答規格的系統，最像什麼？**
> → 多模態 AI，因為它同時吃圖像和文字。
>
> **Q2（判斷題）：如果圖像很清楚，但文字標題常被店家亂寫，哪個模態更該被降權？**
> → 要看情況，標題如果錯誤率高就該降權，但如果圖像也有遮擋，兩邊都要一起看。
>
### iPAS 考題

> **Q：多模態 AI 的核心特徵是什麼？**
> → 能同時處理文字、圖像、聲音、影片等多種模態，並把它們整合成同一個判斷。
>
> **Q：為什麼多模態 AI 比單模態系統更有資訊量？**
> → 因為它可以交叉驗證不同來源，降低只看單一資料時的偏差。
>
### 常見問題

> **Q：多模態 AI 一定比只看文字強嗎？**
> 不一定，資料如果太雜或對不上，反而會拖累表現。
>
> **Q：它和多模態學習差在哪？**
> 前者講應用和能力，後者講訓練方法。
>
> **Q：多模態一定要有圖片嗎？**
> 不一定，文字、聲音、影片都可以是模態。
>
### 相關術語

> - **電腦視覺**：多模態裡最常見的視覺來源。
> - **語音辨識**：聲音模態的主要入口。
> - **自然語言處理**：文字模態通常要靠它。
> - **視覺語言模型**：這是多模態 AI 最典型的實作之一。
> - **內容生成**：很多多模態系統最後都要產生文字或圖像。

---

來源：https://aiterms.tw/terms/multimodal-ai
快查頁：https://aiterms.tw/terms/multimodal-ai
最後更新：2026/07/29
深度解說：https://aiterms.tw/learning/what-is-multimodal-ai