集束搜尋 Beam Search
集束搜尋是一種啟發式搜尋演算法,用於序列預測任務,它在每個時間步保留多個最有可能的候選序列(集束),而非僅僅選擇最佳選項。
自然語言處理生成式AI模型訓練
瀏覽 AITerms.tw 中標籤為「大型語言模型」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
集束搜尋是一種啟發式搜尋演算法,用於序列預測任務,它在每個時間步保留多個最有可能的候選序列(集束),而非僅僅選擇最佳選項。
模型基準測試是一套標準化的評估任務與資料集,用來客觀衡量並比較不同 AI 模型的各項性能與實際能力。
BERT是一種基於Transformer架構的雙向編碼器模型,用於理解文本的語義和上下文,廣泛應用於自然語言理解任務。
雙向語境是同時參考目標元素前後文資訊的技術,能大幅提升模型對整體脈絡與語意的理解精準度。
能同時處理序列的前向和後向上下文,在每個位置都能看到完整序列信息的神經網路編碼器,相比單向模型提供更豐富的上下文表示,是 BERT 等預訓練模型的核心。
Google 的雙向語言模型,用 MLM(遮罩)和 NSP 預訓練,擅長理解文本語意
雙語評估替代指標(BLEU,Bilingual Evaluation Understudy)是機器翻譯品質評估的自動化量化指標,透過比對機器翻譯輸出與人工參考譯文中 n-gram 的重疊程度,給出 0
位元組對編碼(BPE)是一種資料壓縮技術,也常用於自然語言處理中,作為一種詞彙標記化方法,將單詞分解成更小的子詞單元。