資訊理論研究資訊的量化、儲存與傳輸，核心概念包含熵、互資訊、通道容量等，為資料壓縮、通訊編碼等領域奠定基礎。
容易混淆
機率論 機率論在算事件會不會發生，資訊理論在算知道這件事要花多少資訊成本。
語意分析 語意分析看內容意思，資訊理論只管資訊量和傳輸效率，不管內容是不是有道理。
記住這句就好
不管內容，只算資訊量和傳輸成本。
實際案例
檔案壓縮 重複字元多的文字檔可以壓得很小，因為低熵資料本來就比較容易用少量位元表示。
通訊編碼 手機訊號在雜訊很大的環境下仍要傳得準，通道容量和編碼方式就是資訊理論的核心工具。
算法與應用
熵、互資訊、通道容量是三個核心詞。熵量化不確定性，互資訊看兩個變數共享多少資訊，通道容量則是通訊系統能穩定傳多少資訊。很多機器學習損失函數，其實都能在這套框架裡找到位置。
情境判斷
Q1（直覺題）： 如果你現在遇到一個 檔案壓縮 的場景，這個概念會是第一個想到的工具嗎？ → 看情況，但如果任務目標和這個概念的用途一致，就很可能是。核心還是先確認你要解決的是分類、分群、壓縮、檢索，還是最佳化。
Q2（判斷題）： 如果你把它和 語意分析 一起用，結果反而變不穩，通常該怎麼想？ → 看情況。先檢查資料分布、特徵定義和模型假設是否相容，很多時候不是概念本身有問題，而是使用條件不對，像距離尺度沒對齊、標註規則不一致，或輸入格式不合。
閱讀這頁時的常見誤區
只背中英文對照，無法判斷術語的適用情境。先確認定義，再對照完整說明與相關概念，頁面中的考試比重或出題方向，必須和下方標示的資料來源一起閱讀。
相關術語
常見問題
資訊理論 最容易跟 機率論 混淆嗎？
機率論在算事件會不會發生，資訊理論在算知道這件事要花多少資訊成本。
什麼情況會用到 資訊理論？
你可以把它想成在量化訊息的濃度，越難猜、越不確定的資料，資訊量就越高。 實務上只要你要處理和這個概念相符的任務，就會用到它。
初學者最常錯在哪裡？
語意分析看內容意思，資訊理論只管資訊量和傳輸效率，不管內容是不是有道理。
資料來源
- AITerms.tw 術語資料庫，最後更新：2026-04-29。