fairseq 非自回归机器翻译NAT训练脚本全解NAT、iNAT、InsT、CMLM 与 Levenshtein Transformer 实战指南【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm导读本文围绕 infoxlm/fairseq/examples/nonautoregressive_translation/scripts.md 展开系统讲解基于 fairseq 训练五类经典非自回归机器翻译NAT模型——Non-autoregressive TransformerNAT、Iterative Refinement NATiNAT、Insertion TransformerInsT、Mask PredictCMLM与 Levenshtein TransformerLevT——的完整脚本与参数含义。读者读完本文后将掌握translation_lev任务、nat_loss准则、--noise加噪策略、长度预测、迭代精炼等核心配置并能在 WMT14 En-De 蒸馏数据上独立复现这些模型的训练与迭代式解码。非自回归翻译通过并行生成整句输出来替代自回归模型的逐 token 解码大幅缩短推理延迟但代价是牺牲一部分翻译质量。fairseq 在translation_lev任务与nat_loss准则之上统一实现了多种 NAT 范式的参考实现本文结合仓库源码逐一拆解每一份训练脚本的配置要点。一、前置准备数据、词汇表与知识蒸馏在运行任何训练脚本之前需要准备好二值化的 WMT14 En-De 数据集。整体流程在 README.md 中说明可参考 examples/translation 目录 中的 WMT14 En-De 预处理指令下载并预处理 WMT14 En-De 平行语料使用fairseq-preprocess时务必传入--joined-dictionary选项学习联合词表source 与 target 共享同一词表因为 NAT 模型通常配合--share-all-embeddings使用使用--task translation_lev加载该双语数据集任务内部通过prepend_bosTrue见 translation_lev.py为目标句添加 BOS 标记。知识蒸馏NAT 训练的隐形加速器按 Gu et al., 2019 的做法先用标准自回归 Transformer 在相同数据上训练并解码训练集生成一份蒸馏数据集NAT 模型再在这份分布更平滑的数据上训练。知识蒸馏能有效简化训练数据分布对 NAT 模型学到高质量翻译有时是必需的原文措辞为 sometimes essential。仓库也提供了预处理好的原始数据集与蒸馏数据集压缩包可自行构建二值化数据。脚本中出现的data-bin/wmt14_en_de_distill即指蒸馏数据经fairseq-preprocess后的目录。二、公共骨架五份训练脚本共享的核心配置scripts.md给出的五份脚本共享同一套优化与训练框架参数理解这些公共参数是后续对比各模型差异的基础。参数取值作用--task translation_lev固定使用支持 NAT 加噪与迭代解码的翻译任务Levenshtein Transformer 专用任务--criterion nat_loss固定使用LabelSmoothedDualImitationCriterion损失函数--arch各模型不同指定模型架构nonautoregressive_transformer/iterative_nonautoregressive_transformer/insertion_transformer/cmlm_transformer/levenshtein_transformer--noise各模型不同指定训练时对目标句注入的噪声类型full_mask/random_delete/random_mask--share-all-embeddings开关共享 source/target 词嵌入与 decoder 输出嵌入--optimizer adam --adam-betas (0.9,0.98)固定Adam 优化器及 beta 值--lr 0.0005 --lr-scheduler inverse_sqrt固定峰值学习率与 inverse-sqrt 调度器--min-lr 1e-09 --warmup-updates 10000 --warmup-init-lr 1e-07固定最小学习率、warmup 步数与初始学习率--label-smoothing 0.1固定标签平滑系数 ε--dropout 0.3 --weight-decay 0.01固定dropout 与权重衰减--decoder-learned-pos --encoder-learned-pos开关encoder/decoder 使用可学习位置编码--apply-bert-init开关使用 BERT 风格的参数初始化--log-format simple --log-interval 100固定日志格式与打印间隔--fixed-validation-seed 7固定固定验证集随机种子--max-tokens 8000固定每批最大 token 数--save-interval-updates 10000固定每 10000 步保存一次 checkpoint--max-update 300000固定最大更新步数其中--apply-bert-init对应 nonautoregressive_transformer.py 中注册的参数其实现调用fairseq.modules.transformer_sentence_encoder.init_bert_params对 encoder 与 decoder 应用 BERT 式初始化见 nonautoregressive_transformer.py这对 NAT 这类一次并行解码全部位置的模型收敛至关重要。translation_lev任务与--noise加噪机制任务定义在 translation_lev.py 中其--noise参数可选值仅为四种见 translation_lev.pyrandom_delete默认随机删除若干目标 token得到残缺的 prefix用于 LevT 与 InsTrandom_mask随机将目标 token 替换为unk用于 CMLMfull_mask将除 BOS/EOS/PAD 外的所有 token 替换为unk用于 NAT 与 iNATno_noise不加噪声直接使用原目标句。在train_step中任务会先调用inject_noise(sample[target])生成prev_target再交给 criterion 计算损失见 translation_lev.py。full_mask的实现在_full_masktranslation_lev.py保留 BOS/EOS/PAD其余全部掩成unkrandom_delete的_random_delete通过均匀随机分数排序决定保留哪些位置且保证不删除 BOS 与 EOStranslation_lev.py_random_mask则保证至少掩掉一个 tokentranslation_lev.py。nat_loss准则多任务损失的统一入口--criterion nat_loss对应 nat_loss.py 中的LabelSmoothedDualImitationCriterion。它并不计算单一损失而是遍历模型 forward 返回的所有子输出word_ins、length、mask_ins、word_del等对每个子任务分别计算损失并按factor加权求和见 nat_loss.py。其核心_compute_loss支持两类目标硬标签targets.dim() 1使用F.nll_loss软标签二维目标使用 KL 散度nat_loss.py——这正是 InsT 的 slot-loss 用--label-tau生成软标签后所需的分支。--label-smoothing在 nat_loss.py 中注册默认 0。三、Non-autoregressive TransformerNAT, Gu et al., 2017NAT 是最早的非自回归翻译模型核心思想是一次并行预测整句。其关键前提是先预测目标句长度再在该长度内并行生成所有 token。训练脚本fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-generate \ contenteditable="false">【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
fairseq 非自回归机器翻译NAT训练脚本全解NAT、iNAT、InsT、CMLM 与 Levenshtein Transformer 实战指南【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm导读本文围绕 infoxlm/fairseq/examples/nonautoregressive_translation/scripts.md 展开系统讲解基于 fairseq 训练五类经典非自回归机器翻译NAT模型——Non-autoregressive TransformerNAT、Iterative Refinement NATiNAT、Insertion TransformerInsT、Mask PredictCMLM与 Levenshtein TransformerLevT——的完整脚本与参数含义。读者读完本文后将掌握translation_lev任务、nat_loss准则、--noise加噪策略、长度预测、迭代精炼等核心配置并能在 WMT14 En-De 蒸馏数据上独立复现这些模型的训练与迭代式解码。非自回归翻译通过并行生成整句输出来替代自回归模型的逐 token 解码大幅缩短推理延迟但代价是牺牲一部分翻译质量。fairseq 在translation_lev任务与nat_loss准则之上统一实现了多种 NAT 范式的参考实现本文结合仓库源码逐一拆解每一份训练脚本的配置要点。一、前置准备数据、词汇表与知识蒸馏在运行任何训练脚本之前需要准备好二值化的 WMT14 En-De 数据集。整体流程在 README.md 中说明可参考 examples/translation 目录 中的 WMT14 En-De 预处理指令下载并预处理 WMT14 En-De 平行语料使用fairseq-preprocess时务必传入--joined-dictionary选项学习联合词表source 与 target 共享同一词表因为 NAT 模型通常配合--share-all-embeddings使用使用--task translation_lev加载该双语数据集任务内部通过prepend_bosTrue见 translation_lev.py为目标句添加 BOS 标记。知识蒸馏NAT 训练的隐形加速器按 Gu et al., 2019 的做法先用标准自回归 Transformer 在相同数据上训练并解码训练集生成一份蒸馏数据集NAT 模型再在这份分布更平滑的数据上训练。知识蒸馏能有效简化训练数据分布对 NAT 模型学到高质量翻译有时是必需的原文措辞为 sometimes essential。仓库也提供了预处理好的原始数据集与蒸馏数据集压缩包可自行构建二值化数据。脚本中出现的data-bin/wmt14_en_de_distill即指蒸馏数据经fairseq-preprocess后的目录。二、公共骨架五份训练脚本共享的核心配置scripts.md给出的五份脚本共享同一套优化与训练框架参数理解这些公共参数是后续对比各模型差异的基础。参数取值作用--task translation_lev固定使用支持 NAT 加噪与迭代解码的翻译任务Levenshtein Transformer 专用任务--criterion nat_loss固定使用LabelSmoothedDualImitationCriterion损失函数--arch各模型不同指定模型架构nonautoregressive_transformer/iterative_nonautoregressive_transformer/insertion_transformer/cmlm_transformer/levenshtein_transformer--noise各模型不同指定训练时对目标句注入的噪声类型full_mask/random_delete/random_mask--share-all-embeddings开关共享 source/target 词嵌入与 decoder 输出嵌入--optimizer adam --adam-betas (0.9,0.98)固定Adam 优化器及 beta 值--lr 0.0005 --lr-scheduler inverse_sqrt固定峰值学习率与 inverse-sqrt 调度器--min-lr 1e-09 --warmup-updates 10000 --warmup-init-lr 1e-07固定最小学习率、warmup 步数与初始学习率--label-smoothing 0.1固定标签平滑系数 ε--dropout 0.3 --weight-decay 0.01固定dropout 与权重衰减--decoder-learned-pos --encoder-learned-pos开关encoder/decoder 使用可学习位置编码--apply-bert-init开关使用 BERT 风格的参数初始化--log-format simple --log-interval 100固定日志格式与打印间隔--fixed-validation-seed 7固定固定验证集随机种子--max-tokens 8000固定每批最大 token 数--save-interval-updates 10000固定每 10000 步保存一次 checkpoint--max-update 300000固定最大更新步数其中--apply-bert-init对应 nonautoregressive_transformer.py 中注册的参数其实现调用fairseq.modules.transformer_sentence_encoder.init_bert_params对 encoder 与 decoder 应用 BERT 式初始化见 nonautoregressive_transformer.py这对 NAT 这类一次并行解码全部位置的模型收敛至关重要。translation_lev任务与--noise加噪机制任务定义在 translation_lev.py 中其--noise参数可选值仅为四种见 translation_lev.pyrandom_delete默认随机删除若干目标 token得到残缺的 prefix用于 LevT 与 InsTrandom_mask随机将目标 token 替换为unk用于 CMLMfull_mask将除 BOS/EOS/PAD 外的所有 token 替换为unk用于 NAT 与 iNATno_noise不加噪声直接使用原目标句。在train_step中任务会先调用inject_noise(sample[target])生成prev_target再交给 criterion 计算损失见 translation_lev.py。full_mask的实现在_full_masktranslation_lev.py保留 BOS/EOS/PAD其余全部掩成unkrandom_delete的_random_delete通过均匀随机分数排序决定保留哪些位置且保证不删除 BOS 与 EOStranslation_lev.py_random_mask则保证至少掩掉一个 tokentranslation_lev.py。nat_loss准则多任务损失的统一入口--criterion nat_loss对应 nat_loss.py 中的LabelSmoothedDualImitationCriterion。它并不计算单一损失而是遍历模型 forward 返回的所有子输出word_ins、length、mask_ins、word_del等对每个子任务分别计算损失并按factor加权求和见 nat_loss.py。其核心_compute_loss支持两类目标硬标签targets.dim() 1使用F.nll_loss软标签二维目标使用 KL 散度nat_loss.py——这正是 InsT 的 slot-loss 用--label-tau生成软标签后所需的分支。--label-smoothing在 nat_loss.py 中注册默认 0。三、Non-autoregressive TransformerNAT, Gu et al., 2017NAT 是最早的非自回归翻译模型核心思想是一次并行预测整句。其关键前提是先预测目标句长度再在该长度内并行生成所有 token。训练脚本fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-generate \ contenteditable="false">【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
