閃電注意力機制 Flash Attention
閃電注意力機制是一種優化注意力計算的技術,透過重新排序計算步驟和利用硬體加速,大幅提升注意力計算的速度和記憶體效率。
機器學習深度學習自然語言處理
瀏覽 AITerms.tw 中標籤為「自然語言處理」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
閃電注意力機制是一種優化注意力計算的技術,透過重新排序計算步驟和利用硬體加速,大幅提升注意力計算的速度和記憶體效率。
長短期記憶網路(LSTM)的核心門機制,通過 sigmoid 激活函數產生 0-1 的控制信號,決定上一時步細胞狀態中有多少信息應被遺棄或保留,是解決梯度消失問題的關鍵元件。
基礎模型是使用大量未標記數據訓練的大型模型,可適應多種下游任務,展現出強大的泛化能力和遷移學習能力。
頻率計數是計算特定事件、特徵或字詞在數據集中出現次數的統計方法,為資料分析與機器學習提供基礎特徵。
函數呼叫是一種允許大型語言模型(LLM)調用外部函數或API的能力,以擴展其功能並與外部世界互動。