全規約演算法 All-Reduce
iPAS一種在分散式系統中進行資料聚合與同步的通訊操作,確保所有計算節點最終獲得完全相同的整合結果。
瀏覽 AITerms.tw 中標籤為「神經網路」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
一種在分散式系統中進行資料聚合與同步的通訊操作,確保所有計算節點最終獲得完全相同的整合結果。
錨框(Anchor Box)是在目標檢測中預先定義的一系列具有不同大小和長寬比的矩形框,用於在圖像中生成候選區域,以便模型進行目標分類和邊界框回歸。
分析文本對特定方面或話題的情感態度,而非整體情感,如評論中對產品外觀、性能的分別評價。
注意力崩潰指深度神經網路的注意力權重趨向一致,導致模型無法有效區分輸入特徵的現象。
解碼器是神經網路的一部分,負責將編碼器產生的抽象向量表示,轉換成人類可理解的目標輸出,如文字、圖片或語音。
深度協同過濾結合深度學習與協同過濾,利用神經網路學習使用者和物品的隱藏表示,以提升推薦準確度,尤其在處理複雜互動模式時。
深度Q網路(DQN)是一種結合深度學習與Q學習的強化學習演算法,利用深度神經網路逼近Q函數,解決高維度狀態空間的強化學習問題。
從2D影像推斷場景的3D深度資訊,用於3D重建、機器人導航、AR應用和自動駕駛。
分散式訓練利用多個計算節點,將模型訓練任務分割並行處理,加速大型模型訓練,提升效率。
隨機失活遮罩在訓練時動態產生隨機二元矩陣,將部分神經元輸出暫時歸零,以打破特徵依賴並防止模型過度擬合。
閘控循環單元(GRU)是一種循環神經網路(RNN)的變體,旨在解決傳統RNN的梯度消失問題,更有效地捕捉長期依賴關係。
圖形處理器(GPU)是一種專為並行處理設計的電子電路,最初用於加速圖像渲染,現廣泛應用於深度學習等需要大量計算的領域。
在分散式機器學習中,匯總多個運算節點的梯度以確保模型參數一致更新的過程。
一種 GNN 的具體實現,透過鄰域節點特徵的加權平均來更新每個節點的表示。
一種 GNN 模型,基於圖同構測試的 Weisfeiler-Lehman 算法設計,具有較強的圖判別能力。
LLaMA(Large Language Model Meta AI)是 Meta 開發的開放權重(open-weight)大型語言模型系列,可免費下載、修改、自行部署,採 Meta 自訂 community license 授權,非 OSI 認證開源。
長短期記憶網路是一種改良的循環神經網路,透過門控機制來克服傳統 RNN 在長序列中容易遺忘的缺陷
損失函數衡量模型預測與實際值之間的差異,數值越小代表模型預測越準確,是模型訓練中優化目標的關鍵組成部分。
Mamba是一種基於選擇機制的序列模型,旨在解決Transformer在長序列建模上的效率瓶頸,透過硬體感知演算法提升運算速度。
Mask R-CNN是一種深度學習模型,用於物件偵測、實例分割和人體姿勢估計。它擴展了Faster R-CNN,增加了預測每個物件像素級別遮罩的分支。
具有外部記憶機制的神經網路架構,能夠存儲、檢索和更新信息,支持推理任務。
元學習,又稱學習如何學習,旨在訓練模型能夠快速適應新任務或環境,透過少量樣本即可達到良好的效能。
模型壓縮是指減少機器學習模型大小和計算複雜度的技術,以便在資源有限的設備上部署,同時保持模型性能。
多任務學習是一種機器學習方法,旨在同時訓練一個模型來執行多個相關任務,以提升模型的泛化能力和效率。
函數曲面上在某方向為局部最大值,在另一方向為局部最小值之點,形似馬鞍。在最佳化中,理解收斂行為的關鍵概念。
一種透過稀疏性約束學習高維資料中可解釋潛在特徵的神經網路架構,近年廣泛應用於語言模型的可解釋性研究。
一種高效的注意力機制,限制每個位置只與一個固定大小的局部上下文窗口內的位置進行注意力計算,減少計算複雜度。
脈衝神經網路屬於第三代人工神經網路,模仿生物大腦透過離散的脈衝訊號進行資訊傳遞,具備極低的功耗與高時間解析度優勢。
T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型,簡化了模型訓練和應用。
文本分類是自然語言處理中的一項任務,旨在將文本自動分配到預定義的類別中。它應用廣泛,例如垃圾郵件檢測、情感分析等。
文字生成影片是一種人工智慧技術,它能根據文字描述自動生成對應的影片,將文字內容轉化為動態視覺呈現。
完全基於 Attention 機制的架構,不用 RNN 的循環結構,能平行處理整個序列