AI 術語詞典

Microsoft 提出的分布式訓練優化技術，通過將梯度、優化器狀態和模型參數分片存儲在多個 GPU 上，大幅降低記憶體占用，支持訓練超大規模模型。