--- title: "記憶增強神經網路（Memory Augmented Neural Networks）" slug: memory-augmented-neural-networks language: zh-TW source: https://aiterms.tw/terms/memory-augmented-neural-networks updated_at: 2026-07-30 tags: [外部記憶, 神經計算機, 推理, 少樣本學習] ipas_term: false --- # 記憶增強神經網路（Memory Augmented Neural Networks） 在神經網路基礎上增加外部記憶模組，透過可學習的讀寫機制實現長期資訊儲存和檢索。 ## 完整說明 記憶增強神經網路（Memory Augmented Neural Networks, MANNs）是對神經網路的通用擴展，透過為網路增加可讀可寫的外部記憶，使模型具備快速記憶新資訊、檢索長期依賴的能力。MANNs 包含多種實現方式，從神經圖靈機（NTM）、可微分神經計算機（DNC）到記憶網路（Memory Networks），各具特色。MANNs 在少樣本學習、問答、知識檢索等需要記憶與推理的任務中展現優勢。 ## 常見問題 ### 記憶增強神經網路相比普通 RNN/LSTM 在長期依賴問題上有什麼改進？ 普通 RNN/LSTM 的隱狀態尺寸固定（如 512 維），所有資訊必須在這個固定容量中表示和傳遞，導致一個較小的『記憶瓶頸』。對於長序列或需要記憶大量事實的任務，隱狀態容量往往不足。此外，LSTM 的遺忘門等機制是軟的、模糊的，無法精確地決定『記住什麼、忘記什麼』。MANNs 提供了容量原則上無限的外部記憶，模型可直接讀取需要的資訊而無需通過隱狀態的『瓶頸』。例如，若任務需要記住一個 100 詞長的句子並在 50 步後使用，普通 LSTM 需要在 512 維的隱狀態中壓縮這些資訊；MANNs 可在外部記憶中明確存儲整個句子，讀取時無損地恢復。實驗表明 MANNs 在合成任務上的泛化能力遠優於 LSTM。 ### 記憶網路（Memory Networks）和神經圖靈機的主要區別是什麼？ 主要區別在於記憶的組織方式和操作方式。神經圖靈機把記憶看作一個矩陣，支持內容和位置兼並的精細定址、順序訪問、動態清除和寫入。記憶網路則把記憶看作一個事實/知識的集合，強調『檢索相關事實』和『多跳推理』：查詢一次找到相關事實，用該事實更新查詢，再查詢一次，如此循環。在應用上，NTM 更適合需要精確符號操作（排序、複製、圖遍歷）的任務；記憶網路更適合知識推理和問答（「某人的朋友是誰」之類的多跳查詢）。在設計上，記憶網路相對簡單（基本上是注意力加權檢索），訓練更容易；NTM 更複雜但潛力更大。近年研究多將兩者的思想結合，如用注意力檢索記憶（記憶網路風格）同時支持動態更新（NTM 風格）。 ### 為什麼 MANNs 沒有被 Transformer 完全取代？ Transformer 的自注意力在序列建模上已相當高效，但它本質上是『無狀態』的：每個查詢獨立計算注意力，不在查詢間共享或累積記憶。這在某些場景下是限制。第一，若需要明確地『在記憶中寫入資訊、稍後檢索』（如少樣本學習中寫入支持樣本、推論時讀取），MANNs 的顯式寫操作更直觀。Transformer 可透過在隱狀態中『編碼』資訊，但這是隱式且難以控制的。第二，在需要多跳推理或複雜符號操作的任務上，MANNs 的記憶操作更符合任務結構。第三，MANNs 的記憶內容可被檢查和解釋，而 Transformer 的注意力權重雖可視化但內部表示仍是黑盒。近年研究多探索『Transformer + 外部記憶』的混合架構，期望結合兩者優勢。 --- 來源：https://aiterms.tw/terms/memory-augmented-neural-networks 快查頁：https://aiterms.tw/terms/memory-augmented-neural-networks 最後更新：2026/07/30 深度解說：https://aiterms.tw/learning/what-is-memory-augmented-neural-networks