閃電注意力機制是一種優化注意力計算的技術，透過重新排序計算步驟和利用硬體加速，大幅提升注意力計算的速度和記憶體效率。
容易混淆
閃電注意力機制 vs 傳統注意力機制 傳統注意力常要存很多中間結果。 閃電注意力會把運算流程排得更節省，重點是降低記憶體壓力。
閃電注意力機制 vs 轉換器架構 轉換器架構是整體模型設計。 閃電注意力是裡面一個更高效的注意力實作方式。
記住這句就好
同樣算注意力，但更省記憶體、更能撐長序列。
實際案例
長文件摘要 文件很長時，模型若注意力太重會先卡住，閃電注意力能讓處理更可行。
大型語言模型訓練 當上下文拉長，效能和記憶體都會吃緊，這種優化特別有幫助。
算法與應用
它的關鍵是分塊計算與減少不必要的中間記憶體存取。 常見於需要長上下文的語言模型訓練與推論，也很適合算力受限但又想拉長序列的情境。
情境判斷
Q1：如果模型在短句子上跑得很好，閃電注意力還有價值嗎？ → 有，但它的價值通常在長序列時更明顯。
Q2：只要用了閃電注意力，模型速度一定大幅提升嗎？ → 不一定，還要看硬體、批次大小和整體架構。
閱讀這頁時的常見誤區
只背中英文對照，無法判斷術語的適用情境。先確認定義，再對照完整說明與相關概念，頁面中的考試比重或出題方向，必須和下方標示的資料來源一起閱讀。
相關術語
常見問題
它會改變模型輸出嗎？
主要是改實作效率，不是改注意力概念本身。
它只適合訓練，不適合推論嗎？
兩者都可能受益，重點是序列長度和硬體限制。
閃電注意力是不是所有模型都能直接換上去？
不一定，要看底層架構和實作相容性。
它和稀疏注意力一樣嗎？
不一樣，目標都在提升效率，但方法不同。
資料來源
- AITerms.tw 術語資料庫，最後更新：2026-04-29。