文本到文本 T5
T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型,簡化了模型訓練和應用。
查詢 Transformer、RAG、AI Agent 等 AI 術語,包含定義、iPAS 考點分析、常見問題與 Markdown 版本。
T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型,簡化了模型訓練和應用。
將類別特徵替換為該類別對應的目標變數統計量(通常是條件平均值)的特徵工程技術。
訓練模型時,不小心納入在預測時無法獲取的未來或結果資訊,導致模型過度樂觀。
元學習中,多個相關任務的集合及其統計特性的抽象,定義了『哪些任務相關』及『任務多樣性如何』。
透過調整溫度參數,控制語言模型生成文本的隨機程度和多樣性。溫度越低生成越確定,溫度越高生成越隨機。
時間抽象化將一連串底層動作封裝為高階技能,使強化學習模型能在更長的時間尺度上決策與規劃。
在視頻中精確識別和定位動作發生的時間段,給出動作開始和結束的時間戳。
使用擴張卷積取代遞迴層捕捉時序依賴的網路架構,支援高度並行化。
時序差分學習是一種強化學習方法,透過預測未來獎勵並更新預測值,從不完整的序列中學習,無需等待完整結果。
時序點過程是一種用於建模非連續事件發生時間的統計工具,特別適用於分析事件之間的時間依賴性與相互作用。
將單個張量(矩陣或更高維數組)的計算分割到多個 GPU 設備上,通過跨設備並行計算矩陣乘法等操作的分佈式訓練方法。
衡量一個詞對文件的重要性:在這篇文件中出現多(TF 高)但在其他文件中少見(IDF 高)的詞最重要
測試資料集用於評估模型在未見過資料上的泛化能力,是模型效能的最終指標,在模型部署前使用。
測試時運算是指在模型部署後,進行推論時所使用的運算資源。目標是在效能和延遲之間取得平衡,以滿足實際應用需求。
文本分類是自然語言處理中的一項任務,旨在將文本自動分配到預定義的類別中。它應用廣泛,例如垃圾郵件檢測、情感分析等。
指引AI模型生成內容的文字指令或問題,是與生成式AI互動的核心方式。
文本摘要是自然語言處理中的一項任務,旨在從一篇或多篇文章中生成簡潔且信息豐富的摘要。分為抽取式和生成式兩種方法。
文字生成3D模型是指利用人工智慧技術,將文字描述轉換為對應的3D模型,實現從文字到視覺化模型的自動生成。
文字生成音訊(Text-to-Audio)是把一段文字描述直接轉成聲音的生成式 AI 技術,產出的是音樂、音效或環境音,不是唸稿的人聲。它跟文字轉語音(Text-to-Speech)最大的差別,在於生成的是整個聲音場景,還是單純的說話聲。
文字生成圖像是一種人工智慧技術,它能根據文字描述自動生成對應的圖像,實現文字內容的視覺化呈現。
透過輸入自然語言描述,利用深度學習模型自動合成出符合語意內容與風格之圖像的多模態技術。
文字轉語音 (TTS) 技術將文字轉換為人類可理解的語音。它廣泛應用於輔助工具、語音助手和內容創作等領域。
文字生成影片是一種人工智慧技術,它能根據文字描述自動生成對應的影片,將文字內容轉化為動態視覺呈現。
文本蘊含是判斷一段前提文本是否能邏輯推導出另一段假設文本的自然語言處理任務,廣泛應用於問答系統與事實查核。
TF-IDF 是信息檢索和文本挖掘中的經典特徵提取方法。它通過計算詞的局部重要性(TF)和全局重要性(IDF)的乘積,評估詞在文檔中的相關性。
AI 模型透過顯式的中間推理步驟(思維鏈)將複雜問題拆解為可逐步解決的子問題,以提升多步推理任務準確率的方法。
改變分類模型的決策閾值來權衡精確率和召回率的技術,預設閾值通常為 0.5,調整閾值可適應不同業務需求
時間序列分析是研究按時間順序排列的數據點序列,以識別模式、趨勢和週期性,並預測未來值。
基於歷史時序資料的統計規律,預測未來特定時間點或時間段的數值的技術。
符記是大型語言模型處理文字時,不可分割的最小單位,它可以是一個字、詞,或者更小的子詞
分詞是自然語言處理(NLP)中的基礎步驟,旨在將連續的文本序列拆解成更小的、具有語義意義的單元,例如詞彙、子詞或字符,這些單元稱為 tokens。
將文本分割成詞元(tokens)的工具,詞元可以是詞、子詞或字符,是 NLP 模型的輸入預處理步驟。
工具使用能力是指大型語言模型利用外部工具(例如API、資料庫)來擴展其功能,完成更複雜任務的能力。
為降低自注意力複雜度的技術。透過僅保留分數最高的前 K 個鍵值對參與計算,有效減少記憶體與運算開銷。
限制每次詞彙選擇只從機率最高的 k 個候選詞彙中進行隨機採樣,減少低機率詞彙被錯誤選中的風險。
張量處理單元(TPU)是Google專為加速機器學習工作負載而設計的客製化硬體加速器,尤其擅長處理張量運算,是深度學習的利器。
訓練集是用於訓練機器學習模型的資料集,模型通過學習訓練集中的模式和關係來提升預測能力。
軌跡最佳化是機器人學與控制領域的關鍵技術,旨在規劃出滿足特定約束條件並最佳化預設目標函數的運動路徑。
軌跡預測是基於實體歷史移動數據,推斷其未來路徑的技術,常見於自動駕駛、機器人導航等時序分析應用。
遷移學習是將已在大數據集習得的知識,轉移應用至小數據集的新任務,藉此加速模型訓練
AutoML遷移學習利用預訓練模型知識,加速AutoML流程,減少訓練數據需求,提升模型泛化能力,並降低計算成本。
完全基於 Attention 機制的架構,不用 RNN 的循環結構,能平行處理整個序列
將Transformer架構應用於時序資料,利用自注意力捕捉時間依賴,在預測任務上取得優異成績。
指在AI系統開發與運作中,適當揭露資料來源、模型設計與決策邏輯,讓利害關係人能理解並評估系統行為。
將時間序列資料拆解為趨勢、季節性與殘差成分,以揭示其潛在模式。
三元組抽取是從文本中提取(主語,謂語,賓語)三元組的過程,是構建知識圖譜的基礎,也是關係抽取的一種形式。
分類模型正確預測為「負類」的樣本,模型預測與真實標籤皆為陰性。
分類模型將實際為正例的樣本正確預測為正例的情況,是混淆矩陣四格中最理想的預測結果之一。
截斷技巧是一種在生成式模型中,透過限制潛在向量採樣範圍來提升生成品質的策略,主要用多樣性來換取更高的影像或資料保真度。
一種策略梯度方法,透過限制策略更新的範圍以保證單調性改進的強化學習算法。