简介基于深度学习的文本摘要自动生成毕业设计资料包面向自然语言处理方向的本科生聚焦Transformer模型实现摘要生成。资源共34个文件体积约360KB包含18个Python脚本、5个Shell脚本、模型配置、词汇表及Docker部署文件等覆盖数据处理、模型构建、训练评估与Web演示等完整流程。已有3662人学习适合需要快速搭建文本摘要项目的毕设学生。通过该资源可掌握分词、词表构建、Transformer编码器-解码器架构、ROUGE与BLEU指标评估等关键环节同时了解TensorFlow/PyTorch框架下的工程化实现。配套的脚本与配置便于直接运行和二次开发能帮助读者从理论走向实践为NLP领域深入研究打下基础。1. 基于深度学习的文本摘要自动生成这个毕业设计到底在做什么基于深度学习的文本摘要自动生成是自然语言处理方向里最典型的“看起来容易、做起来难”的课题。不少本科生选这个题目时以为把新闻语料丢进模型就能吐出像样的摘要实际跑下来面对的却是整段重复、事实张冠李戴和一直涨不上去的评估分数。这个方向真正要解决的核心问题是让模型在压缩原文信息的同时保持语义连贯和事实一致而这两点恰恰是入门阶段最容易翻车的地方。如果你正在做或者打算做这个毕业设计下面从数据、模型、训练到避坑的完整路径基本就是围绕这个目标展开的哪怕你只有一张普通显卡也完全能在两周内跑出一个能看的效果基线剩下的时间再去啃难点、做对比实验。2. 从抽取式到生成式摘要模型的技术路线怎么选2.1 两类方法的本质区别抽取式省事但天花板低生成式难但值得做文本摘要经过多年发展核心分成了两条路线抽取式Extractive和生成式Abstractive。抽取式的思路是从原文里挑出最重要的若干句话按顺序拼成摘要生成式则是让模型读懂全文后重新组织语言写出新的句子。用一个例子说明原文是“某公司昨天在总部召开新品发布会会上公布了新一代处理器官方称性能比上一代提升40%”抽取式摘出来的可能是“某公司昨天在总部召开新品发布会会上公布了新一代处理器”而生成式给出的可能是“某公司发布新一代处理器性能提升40%”。后者读起来更像人写的摘要信息密度也更高。本科毕设选哪条路直接决定了你后面要面对的问题复杂度。抽取式实现简单用 TF-IDF、TextRank 这类传统方法就能跑通加上深度学习做句子排序也不难但摘要的上限明显受限——它永远跳不出原文句子的框无法像人一样做概括和转述。生成式才是“基于深度学习的文本摘要自动生成”这个标题真正指向的方向它有独立的编码器-解码器结构能生成原文里没出现过的表述但要处理重复、幻觉、长文本遗忘等问题。我的建议是既然标题里写了“生成”就主攻生成式路线再拿一个抽取式方法比如 TextRank当基线做对比这样论文章节也好展开。2.2 生成式模型从 Seq2Seq 到预训练微调不用从零造轮子生成式摘要的模型基础是序列到序列Sequence-to-Sequence结构。早期的做法是用双向 LSTM 做编码器、单向 LSTM 做解码器中间靠注意力机制把原文信息传递给解码器。这种结构在短文本上有效果但长文本上信息丢失严重训练也不稳定——梯度消失、注意力分散都是常见问题。后来 Transformer 结构出现彻底改变了这个局面它用自注意力取代了循环网络每个词都能直接看到全文里所有词长距离依赖不再打折扣。几乎所有现代生成式摘要模型都是在 Transformer 基础上做的只是改造方式不同。到了本科毕设这个阶段完全没有必要从零训练一个 Transformer。社区里已经有大量成熟的预训练模型比如 BART、Pegasus、T5 这类专门为生成任务设计的模型它们在数十亿词的语料上完成了预训练你只需要用摘要数据做微调。所谓微调就是在预训练参数的基础上用你的训练数据继续更新参数让模型适应“输入长文本输出短摘要”这个具体任务。这个做法能极大降低训练成本——从零训练可能需要几十张显卡跑几周微调则只需要一张普通显卡跑几小时。这也是为什么我坚持认为生成式摘要是本科毕设计算力范围内真正可做的方向。2.3 本科毕设选型算力、数据、时间三个约束下的最优组合毕设选型不能只看技术先进性更要看你的实际资源。先说算力如果你有 6GB 以上显存的显卡比如常见的消费级显卡就可以跑中小规模预训练模型的微调如果只有 CPU 或者 4GB 显存也有应对方案后面会讲怎么用梯度累积和序列截断来压缩资源需求。再说数据中文可以用公开的短文本摘要数据集英文可以用 CNN/DailyMail 这类经典数据集数据量从几万条到几十万条不等完全够毕设用了。最后是时间从环境搭建到跑出可对比的实验结果一个完整流程应该控制在两到三周内剩下的时间用来调参、做案例分析、写论文。模型选型上我推荐直接锁定生成式预训练模型的微调路线并且优先选择针对摘要任务优化过的模型。具体到中英文场景英文直接用 BART 或 Pegasus中文则找对应的中文预训练模型——社区里有多家机构开源过中文摘要预训练版本基于 BART 架构的在中文新闻摘要上效果都不错。如果你担心模型太大跑不动优先选 base 尺寸而不是 large 尺寸效果差距在毕业设计场景下是可以接受的。另外不要忽略一个老牌的抽取式强基线 TextRank它不需要训练、几行代码就能跑出结果拿来做对比和兜底都很有价值。方案训练成本摘要质量本科毕设适配度从零训练 Transformer极高不现实不可控不推荐抽取式 TextRank零训练成本中等无概括能力适合做基线对比生成式预训练模型微调低单卡可完成高能生成新句子推荐主攻3. 数据集与预处理把原始语料变成模型能吃到的输入3.1 数据集怎么选中文用公开短文本集英文用 CNN/DailyMail 还是其他文本摘要方向可用的公开数据集不多但也不算少。中文场景最常用的是某个高校实验室发布的短文本摘要数据集规模在 200 万条以上每条数据是一篇短新闻和对应的一句话摘要它有一个特点——摘要长度很短普遍在 30 到 50 字适合做短文本摘要入门。英文场景的经典选择是 CNN/DailyMail 数据集包含新闻正文和人工写的摘要正文平均长度在 30 到 40 句话摘要平均长度在 3 到 4 句话属于中长文本摘要的基准数据集。对比下来中文数据集的单条文本更短、启动更快适合验证模型能否跑通英文数据集更接近真实摘要任务适合做深入分析。还有一个实际考量本科毕设一般要求用中文写论文如果你的实验基于中文数据集论文里的示例、案例分析都更方便展开。但要注意中文数据集的来源问题——公开版本虽然容易拿到可是里面混着大量短文本噪声有的原文本身就类似摘要模型学到的可能是“压缩短文本”而不是“理解长文本后概括”。相比之下英文数据集虽然需要更长的输入序列但数据质量更稳定、学术论文里引用最多方便你查资料对照。我的建议是如果时间紧选中文数据集打底如果想把实验做得扎实可以中英文数据集各跑一组。选数据集时优先找带标准训练/验证/测试切分的版本这样和已发表论文对比时不会因为划分方式不一致而吃亏。3.2 文本清洗与长度截断哪些预处理不做后面一定会后悔数据预处理是整个流程里最枯燥但最影响结果的一环。常见做法是先把原始数据从 JSON 或其他格式解出来去掉 HTML 标签和无意义字符再把连续空格合并英文要做分词和小写化中文不需要分词但要去掉全角空格接着统一处理特殊符号比如把“”还原成“”把多余换行符删掉最后按最大长度截断或过滤超长样本。这里有一个容易忽略的点中文数据集里混了大量繁体字和异体字正常简体语料里不应该出现最好做一个简繁转换或直接过滤掉否则模型会生成夹杂繁体字的摘要。有了清洗逻辑紧接着就是长度截断策略。模型对输入序列长度有上限比如 512 或 1024 个 token超过长度就会报错或做截断。有人为了参数“够用”直接把正文头尾截掉这是很粗糙的做法。更合理的策略是先在句子级别去掉 HTML 标签留下的空段落然后按句子顺序从前往后填充到上限附近停止摘要端同样要做长度控制过长的摘要会被截断过短的应该过滤掉因为“嗯”“好的”这类几乎无信息的样本会让训练信号变脏。清洗完的数据务必重新统计一下长度分布和样本总量你会发现过滤后有效数据可能只剩原来的八成这个信息要写进论文的数据处理章节。import json import re def clean_text(text): # 去 HTML 标签去控制字符压缩连续空白 text re.sub(r[^], , text) text re.sub(r[\x00-\x08\x0b\x0c\x0e-\x1f], , text) text re.sub(r\s, , text).strip() return text def process_one_line(line): obj json.loads(line) content clean_text(obj[content]) summary clean_text(obj[summary]) # 句子级过滤正文过短或摘要过短直接丢弃 if len(content) 30 or len(summary) 5: return None return {content: content, summary: summary} with open(raw_data.jsonl, r, encodingutf-8) as f: samples [] for line in f: result process_one_line(line) if result is not None: samples.append(result) print(有效样本数:, len(samples))这段代码做的事很直接读取 JSONL 格式的原始数据对正文和摘要分别做清洗然后按长度阈值过滤。代码里的clean_text用了三个正则——第一个去 HTML 标签第二个去掉 ASCII 控制字符第三个把多个空白压缩成一个空格。过滤条件content 30和summary 5是经验值你可以根据自己的数据集分布调整如果不确定阈值是否合适先统计长度的分位数再定。这一步做完数据才能安全地交给 tokenizer。3.3 数据划分和防止数据泄漏验证集别拿训练集里的新闻来糊弄数据划分不是简单按比例随意切分就结束了摘要任务有一个独特的泄漏风险同一话题的多篇新闻可能在语料里出现多次。比如某条新闻被不同媒体转载正文几乎一样摘要措辞略有差异如果这些相似样本同时出现在训练集和验证集里验证分数会虚高论文里的实验数据经不起复现。处理办法是先按正文内容做去重用简单哈希或判重逻辑把高度相似的样本排除再做正式划分。哈希去重不完美但对毕设来说足够了。常见做法是按 8:1:1 切分训练、验证、测试集但要注意切分方式。不是随机切而是先对样本做全局洗牌再按顺序切洗牌要设定固定随机种子保证每次运行结果一致。验证集的作用是每次训练完看模型效果、决定是否调参测试集只在最终评估时用一次。你在论文里报告的 ROUGE 分数应该来自测试集而不是验证集。还有一个习惯值得养成单独固定一批测试样本训练过程中反复拿它们生成摘要查看输出文本直观感受模型在变好还是变差——指标有滞后性肉眼观察往往能更快发现模型崩溃的迹象。4. 模型训练的全流程从加载预训练模型到计算 ROUGE4.1 微调代码框架用不到一百行代码跑通训练闭环训练部分的代码完全可以基于社区成熟的框架来做。推荐直接用 Transformers 库它把模型结构、tokenizer、训练器都封装好了你只需要写数据处理和评估逻辑。整体流程是加载预训练模型和分词器 → 把原始文本编码成 input_ids 和 attention_mask → 构造 PyTorch Dataset → 配置训练参数 → 启动训练。下面这段代码是我给某本科生改过的快速启动模板从加载模型到开始训练不超过八十行。import torch from torch.utils.data import Dataset, DataLoader from transformers import ( BartForConditionalGeneration, BartTokenizer, Seq2SeqTrainingArguments, Seq2SeqTrainer, ) pretrained_model_path your_model_path # 换成你实际使用的预训练模型路径 tokenizer BartTokenizer.from_pretrained(pretrained_model_path) model BartForConditionalGeneration.from_pretrained(pretrained_model_path) class SumDataset(Dataset): def __init__(self, data, tokenizer, max_src_len512, max_tgt_len64): self.data data self.tokenizer tokenizer self.max_src_len max_src_len self.max_tgt_len max_tgt_len def __len__(self): return len(self.data) def __getitem__(self, idx): item self.data[idx] src self.tokenizer( item[content], max_lengthself.max_src_len, truncationTrue, paddingmax_length, return_tensorspt, ) tgt self.tokenizer( item[summary], max_lengthself.max_tgt_len, truncationTrue, paddingmax_length, return_tensorspt, ) return { input_ids: src[input_ids].squeeze(0), attention_mask: src[attention_mask].squeeze(0), labels: tgt[input_ids].squeeze(0), } train_dataset SumDataset(train_data, tokenizer) val_dataset SumDataset(val_data, tokenizer) training_args Seq2SeqTrainingArguments( output_dir./results, num_train_epochs3, per_device_train_batch_size4, per_device_eval_batch_size4, learning_rate5e-5, warmup_steps500, weight_decay0.01, logging_dir./logs, logging_steps100, save_steps1000, evaluation_strategysteps, eval_steps1000, predict_with_generateTrue, report_tonone, fp16True, ) trainer Seq2SeqTrainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, tokenizertokenizer, ) trainer.train()代码看起来长但核心逻辑集中在三块。第一块是SumDataset它把每一条样本的正文和摘要分别交给 tokenizer 转换成模型输入input_ids是正文的 token 编号attention_mask标记哪些位置是真实 tokenpadding 位置为 0labels是摘要的标准答案。第二块是Seq2SeqTrainingArguments所有训练行为都由它控制参数含义后面展开。第三块是Seq2SeqTrainer它把模型、数据、参数组装在一起train()一行就能启动训练。有几个参数值得特别说明。predict_with_generateTrue表示在验证阶段用生成方式解码而不是直接计算损失来评估模型这一步很关键如果不打开验证分数只反映语言模型损失不能直观看出摘要质量。fp16True启用混合精度训练显存占用能省不少但需要显卡支持CPU 环境跑不了。per_device_train_batch_size4是每个显卡的批大小如果你的显存只有 4GB建议改成 2 或 1后面会讲显存不够时怎么调整。4.2 训练参数到底怎么设学习率、batch size、epoch 和显存策略参数设置是微调阶段最容易困惑的地方也是论文里必须交代的实验细节。学习率方面预训练模型微调一般用 3e-5 到 5e-5 这个范围太小收敛慢太大容易把预训练学到的知识冲掉。我习惯先试 5e-5如果训练 loss 震荡明显就降到 3e-5这个调整要在训练的前几百步里观察不要等跑完一个 epoch 才回头改。epoch 数量看数据量中文短文本摘要数据集有几十万条样本时2 到 3 个 epoch 就足够跑多了会过拟合——一个常见判据是训练 loss 持续下降但验证 loss 开始回升这时候就该停了。batch size 的设置受到显存限制但要注意它不只影响显存还影响模型收敛质量。更大的 batch size 通常让梯度的估计更稳定但也会让模型更难跳出局部最优小 batch size 加适当学习率在摘要微调里往往效果更好。实际的做法是先设 batch size 为 4如果显存溢出减到 2同时把gradient_accumulation_steps设为 2 或 4。梯度累积的意思是攒够多个小 batch 的梯度后再统一更新一次参数模拟大 batch size 的效果。比如 batch size2、accumulation4等效于用 8 条样本计算一次梯度更新显存占用却和 batch size2 一样。下面是一个典型的小显存配置。per_device_train_batch_size2 gradient_accumulation_steps4 fp16True max_source_length384 max_target_length48这套配置是我在 4GB 显存下跑过的组合。max_source_length384把输入序列缩短了一些配合max_target_length48让单条数据占用的显存明显下降。代价是如果数据集里有些长文本超过长度的部分会被截掉模型看不到完整内容摘要质量会略降。在做实验的时候长文本截断这个问题需要你单独写出来讨论不能假装不存在处理方式可以是按比例统计被截断的样本数量并在论文里说明这个限制。参数推荐值作用显存不够时怎么改learning_rate5e-5 → 3e-5控制参数更新步长不需要改per_device_train_batch_size4单卡单步训练样本数降到 2 或 1gradient_accumulation_steps1模拟更大 batch提到 2 或 4num_train_epochs2~3训练轮数不需要改fp16True混合精度省显存不支持时只能减序列长度max_source_length512正文最大 token 数降到 384 或 2564.3 生成与评估beam search 的陷阱和 ROUGE 分数的正确打开方式训练结束后真正用于生成摘要的阶段和解码策略强相关。所谓解码就是模型在每一步预测下一个词不断重复直到生成结束符。最简单的贪心解码是每一步都取概率最大的词但这样容易陷入局部重复更常用的 beam search 会同时保留多个候选序列最终选整体得分最高的。Beam size 一般取 4 到 6太小效果接近贪心太大会让生成变得保守甚至重复。控制重复的核心参数是no_repeat_ngram_size设置为 3 表示禁止任何三个连续词重复出现这个参数几乎必开能解决大部分重复问题。def generate_summary(model, tokenizer, input_text, device): inputs tokenizer( input_text, max_length512, truncationTrue, return_tensorspt, ).to(device) outputs model.generate( **inputs, max_new_tokens64, num_beams4, no_repeat_ngram_size3, length_penalty2.0, early_stoppingTrue, ) summary tokenizer.decode(outputs[0], skip_special_tokensTrue) return summary这段生成代码里num_beams4是效果与速度的折中点no_repeat_ngram_size3是防重复的实用参数length_penalty2.0是给输出长度一个正向激励——大于 1 会鼓励模型生成更长的摘要小于 1 则倾向于短摘要。设置 length_penalty 的经验是如果你的数据集摘要普遍偏长用 1.5 到 2.0如果摘要普遍很短用 0.8 到 1.0。这里没有标准值需要拿验证集试跑几次观察输出长度分布再定。early_stoppingTrue表示 beam search 在足够好的候选出现后提前终止能省时间。评估指标方面文本摘要几乎统一使用 ROUGE 系列指标核心是 ROUGE-1、ROUGE-2 和 ROUGE-L。ROUGE-1 衡量模型生成的摘要与标准摘要之间单字/单词的重叠情况ROUGE-2 衡量连续两个词的重叠ROUGE-L 则基于最长公共子序列计算。对于中文因为分词方式不同ROUGE 分数会受影响——按字计算和按词计算的结果差别很大。我建议统一按字级别计算 ROUGE并明确写在论文里方便和已有工作对比中文摘要研究中按字计算也是更常见的做法。如果拿不准用什么工具找社区里常用的 ROUGE 计算库输入生成结果文件和标准答案文件输出三个分数就能直接用到论文里。5. 本科毕设里最常见的五个训练坑现象、原因和解决5.1 坑一显存溢出一个 batch 都跑不动现象训练刚开始几十步就报 CUDA out of memory整个进程直接退出。我见过不少同学卡在这一步代码本身没有问题纯粹是显存不够。原因主要有三个序列太长、batch size 太大、模型太大。很多人拿到模型不修改默认的 1024 序列长度一条样本就占掉大量显存还有人为了“训练稳”把 batch size 设成 8 或 16显存自然扛不住。解决思路不是二选一而是多项组合把模型换成 base 尺寸而不是 large把max_source_length降到 384batch size 降到 2打开fp16再加上gradient_accumulation_steps4。这套组合下来4GB 显存基本能跑。还有一个常常被忽略的点PyTorch 默认会为每个张量分配缓存训练前执行一次小的前向和反向传播让显存预分配到位能减少运行中的碎片问题。另外如果你开了evaluation_strategysteps验证阶段也会占显存可以把eval_steps调得稀疏一些比如 2000 步评估一次。5.2 坑二生成的摘要全是重复词一段话来回绕现象模型输出的摘要读起来像一个复读机“某某表示某某表示某某表示……”或者连续几个句子共享同样的开头结构完全不连贯。原因有两个层面。第一是解码阶段的重复问题训练时用 teacher forcing把标准答案喂给解码器生成时模型只能靠自己预测的词继续生成一旦某个词概率偏高就会陷入自我强化。第二是训练数据里的摘要本身质量差尤其是中文短文本数据集里部分“摘要”是从原文里原样复制的模型学到了复述而不是概括的坏习惯。解决的先后顺序是先在解码端加no_repeat_ngram_size3和num_beams4这能立刻缓解大部分重复如果还不行不要急着调参而是去检查训练数据——统计摘要里 n-gram 重复的比例发现异常样本就清洗掉。有些同学把全部精力放在调 beam search 上折腾几天还是治标不治本就是因为没意识到数据才是根源。5.3 坑三ROUGE 分数上不去或者比论文里的结果差一大截现象训练正常收敛生成的摘要肉眼看着还行但算出来的 ROUGE-2 不到 5或者跟已发表论文差了好几个点。原因有多种最常见的是评估口径不一致。有人用字符级计算有人用词级计算有人做中文分词后按词计算有人直接按字计算——不同口径下分数差异非常大跟论文对比时根本没有意义。另一个常见问题是测试集里标准摘要本身的风格就和模型生成风格不对齐。比如标准摘要是一个人写的概括语模型生成的是原文关键句改写语义上接近但字面重叠率低ROUGE 分数就不会高。解决方法是先确认你的 ROUGE 计算方式和对比论文一致使用同一套工具和相同口径然后看几个具体的测试样本判断分数低是“真不行”还是“指标没测对”。这里我特别想强调——ROUGE 指标对用词重叠极其敏感生成式摘要换一种表达方式分数就会大幅波动所以论文里除了报告 ROUGE还要放几个生成示例做定性分析这是摘要论文的通行写法。5.4 坑四loss 不降或者收敛极慢训练好几个小时没反应现象训练日志里 loss 在某个数值附近小幅浮动甚至前几百步几乎不动生成的结果像是随机词语的组合。原因往往是学习率和数据噪声的组合问题。学习率设得过低会让模型几乎不更新batch size 太小会让梯度方向剧烈震荡而数据清洗不彻底正文里带着大量 HTML 残留、广告噪声模型会把注意力浪费在学习“识别噪声”上。排查顺序第一步看训练 loss 的绝对数值——如果初始 loss 就异常高比如远大于 5先检查 tokenizer 和模型是否匹配预训练模型和它的分词器必须配对使用。第二步看数据随机抽五十条训练样本人工读一遍确认正文是不是干净的新闻文本。第三步调学习率在训练日志里对比 5e-5 和 1e-4 前 200 步的 loss 曲线选下降更平滑的那个。第四步检查是否该用 warmup——预训练模型微调通常需要 warmup 让模型适应新数据分布warmup_steps500是一个合理的起点。5.5 坑五中文特殊符号、繁体字和空摘要让模型生成“四不像”现象生成的摘要里夹杂繁体字、全角标点混乱甚至出现 URL 片段或“amp;”这类 HTML 实体残留。原因很直接——预处理没做干净。数据里本身就有繁体字或者清洗正则漏掉了 HTML 实体比如amp;模型看到什么就学什么。这个问题在跑中文短文本数据集时尤其普遍因为这类数据集是用爬虫抓取的原文里各种符号都有。解决方法是把清洗规则补完整加一条简繁转换处理或过滤规则把全角字符统一转半角把amp;、lt;等常见 HTML 实体显式还原把包含 URL 的样本清洗掉。做完这一步重新统计清洗前后数据的字符分布你会发现特殊符号占比明显下降。另外还要注意一个隐蔽的问题空摘要。有些样本的摘要字段是空字符串或者只有空格这类样本单独过滤掉即可但不要只过滤“长度小于 5”的摘要这个阈值能把噪声样本挡在门外但也会误伤真实的高质量短摘要需要结合你的数据分布来决定。6. 让摘要效果更进一步的三个技巧定性和定量一起抓到了这个阶段你已经能跑通完整流程并拿到还算正常的 ROUGE 分数了。接下来要做的不是盲目调参而是建立一套“验证-修正-记录”的闭环。第一个技巧是建立一个小型人工评估集从测试集里随机抽 30 到 50 条样本把原文本、标准摘要、模型生成的摘要放在一起打印成对照表每隔几次训练就看一轮。你会很快发现哪些问题是 ROUGE 反映不出来的——比如事实错误、代词指代混乱、关键数字丢失。这些发现写进论文比单纯堆一堆指标更有说服力。第二个技巧是针对生成长度做后处理校验。模型经常会生成过短或过长的摘要一个实用的习惯是在生成后检查 token 数量对明显过短的输出做二次生成调低length_penalty对明显过长的输出做截断并补充结尾标点。这个处理不需要训练只需要在推理阶段写一个小函数。第三个技巧是用两个不同随机种子训练同配置模型对比验证集的 ROUGE 稳定性。如果两次实验分数差距超过 0.5 个点说明训练过程还不够稳定可以在论文里如实说明并取平均值报告如果差距很小说明你的实验配置可靠。这个方法成本低但对结论的可信度提升很有帮助。我最早做这个方向时只盯着 ROUGE-2 一个数字调参结果分数涨了零点几个点就以为自己取得了突破后来某导师让本文还有配套的精品资源点击获取
简介基于深度学习的文本摘要自动生成毕业设计资料包面向自然语言处理方向的本科生聚焦Transformer模型实现摘要生成。资源共34个文件体积约360KB包含18个Python脚本、5个Shell脚本、模型配置、词汇表及Docker部署文件等覆盖数据处理、模型构建、训练评估与Web演示等完整流程。已有3662人学习适合需要快速搭建文本摘要项目的毕设学生。通过该资源可掌握分词、词表构建、Transformer编码器-解码器架构、ROUGE与BLEU指标评估等关键环节同时了解TensorFlow/PyTorch框架下的工程化实现。配套的脚本与配置便于直接运行和二次开发能帮助读者从理论走向实践为NLP领域深入研究打下基础。1. 基于深度学习的文本摘要自动生成这个毕业设计到底在做什么基于深度学习的文本摘要自动生成是自然语言处理方向里最典型的“看起来容易、做起来难”的课题。不少本科生选这个题目时以为把新闻语料丢进模型就能吐出像样的摘要实际跑下来面对的却是整段重复、事实张冠李戴和一直涨不上去的评估分数。这个方向真正要解决的核心问题是让模型在压缩原文信息的同时保持语义连贯和事实一致而这两点恰恰是入门阶段最容易翻车的地方。如果你正在做或者打算做这个毕业设计下面从数据、模型、训练到避坑的完整路径基本就是围绕这个目标展开的哪怕你只有一张普通显卡也完全能在两周内跑出一个能看的效果基线剩下的时间再去啃难点、做对比实验。2. 从抽取式到生成式摘要模型的技术路线怎么选2.1 两类方法的本质区别抽取式省事但天花板低生成式难但值得做文本摘要经过多年发展核心分成了两条路线抽取式Extractive和生成式Abstractive。抽取式的思路是从原文里挑出最重要的若干句话按顺序拼成摘要生成式则是让模型读懂全文后重新组织语言写出新的句子。用一个例子说明原文是“某公司昨天在总部召开新品发布会会上公布了新一代处理器官方称性能比上一代提升40%”抽取式摘出来的可能是“某公司昨天在总部召开新品发布会会上公布了新一代处理器”而生成式给出的可能是“某公司发布新一代处理器性能提升40%”。后者读起来更像人写的摘要信息密度也更高。本科毕设选哪条路直接决定了你后面要面对的问题复杂度。抽取式实现简单用 TF-IDF、TextRank 这类传统方法就能跑通加上深度学习做句子排序也不难但摘要的上限明显受限——它永远跳不出原文句子的框无法像人一样做概括和转述。生成式才是“基于深度学习的文本摘要自动生成”这个标题真正指向的方向它有独立的编码器-解码器结构能生成原文里没出现过的表述但要处理重复、幻觉、长文本遗忘等问题。我的建议是既然标题里写了“生成”就主攻生成式路线再拿一个抽取式方法比如 TextRank当基线做对比这样论文章节也好展开。2.2 生成式模型从 Seq2Seq 到预训练微调不用从零造轮子生成式摘要的模型基础是序列到序列Sequence-to-Sequence结构。早期的做法是用双向 LSTM 做编码器、单向 LSTM 做解码器中间靠注意力机制把原文信息传递给解码器。这种结构在短文本上有效果但长文本上信息丢失严重训练也不稳定——梯度消失、注意力分散都是常见问题。后来 Transformer 结构出现彻底改变了这个局面它用自注意力取代了循环网络每个词都能直接看到全文里所有词长距离依赖不再打折扣。几乎所有现代生成式摘要模型都是在 Transformer 基础上做的只是改造方式不同。到了本科毕设这个阶段完全没有必要从零训练一个 Transformer。社区里已经有大量成熟的预训练模型比如 BART、Pegasus、T5 这类专门为生成任务设计的模型它们在数十亿词的语料上完成了预训练你只需要用摘要数据做微调。所谓微调就是在预训练参数的基础上用你的训练数据继续更新参数让模型适应“输入长文本输出短摘要”这个具体任务。这个做法能极大降低训练成本——从零训练可能需要几十张显卡跑几周微调则只需要一张普通显卡跑几小时。这也是为什么我坚持认为生成式摘要是本科毕设计算力范围内真正可做的方向。2.3 本科毕设选型算力、数据、时间三个约束下的最优组合毕设选型不能只看技术先进性更要看你的实际资源。先说算力如果你有 6GB 以上显存的显卡比如常见的消费级显卡就可以跑中小规模预训练模型的微调如果只有 CPU 或者 4GB 显存也有应对方案后面会讲怎么用梯度累积和序列截断来压缩资源需求。再说数据中文可以用公开的短文本摘要数据集英文可以用 CNN/DailyMail 这类经典数据集数据量从几万条到几十万条不等完全够毕设用了。最后是时间从环境搭建到跑出可对比的实验结果一个完整流程应该控制在两到三周内剩下的时间用来调参、做案例分析、写论文。模型选型上我推荐直接锁定生成式预训练模型的微调路线并且优先选择针对摘要任务优化过的模型。具体到中英文场景英文直接用 BART 或 Pegasus中文则找对应的中文预训练模型——社区里有多家机构开源过中文摘要预训练版本基于 BART 架构的在中文新闻摘要上效果都不错。如果你担心模型太大跑不动优先选 base 尺寸而不是 large 尺寸效果差距在毕业设计场景下是可以接受的。另外不要忽略一个老牌的抽取式强基线 TextRank它不需要训练、几行代码就能跑出结果拿来做对比和兜底都很有价值。方案训练成本摘要质量本科毕设适配度从零训练 Transformer极高不现实不可控不推荐抽取式 TextRank零训练成本中等无概括能力适合做基线对比生成式预训练模型微调低单卡可完成高能生成新句子推荐主攻3. 数据集与预处理把原始语料变成模型能吃到的输入3.1 数据集怎么选中文用公开短文本集英文用 CNN/DailyMail 还是其他文本摘要方向可用的公开数据集不多但也不算少。中文场景最常用的是某个高校实验室发布的短文本摘要数据集规模在 200 万条以上每条数据是一篇短新闻和对应的一句话摘要它有一个特点——摘要长度很短普遍在 30 到 50 字适合做短文本摘要入门。英文场景的经典选择是 CNN/DailyMail 数据集包含新闻正文和人工写的摘要正文平均长度在 30 到 40 句话摘要平均长度在 3 到 4 句话属于中长文本摘要的基准数据集。对比下来中文数据集的单条文本更短、启动更快适合验证模型能否跑通英文数据集更接近真实摘要任务适合做深入分析。还有一个实际考量本科毕设一般要求用中文写论文如果你的实验基于中文数据集论文里的示例、案例分析都更方便展开。但要注意中文数据集的来源问题——公开版本虽然容易拿到可是里面混着大量短文本噪声有的原文本身就类似摘要模型学到的可能是“压缩短文本”而不是“理解长文本后概括”。相比之下英文数据集虽然需要更长的输入序列但数据质量更稳定、学术论文里引用最多方便你查资料对照。我的建议是如果时间紧选中文数据集打底如果想把实验做得扎实可以中英文数据集各跑一组。选数据集时优先找带标准训练/验证/测试切分的版本这样和已发表论文对比时不会因为划分方式不一致而吃亏。3.2 文本清洗与长度截断哪些预处理不做后面一定会后悔数据预处理是整个流程里最枯燥但最影响结果的一环。常见做法是先把原始数据从 JSON 或其他格式解出来去掉 HTML 标签和无意义字符再把连续空格合并英文要做分词和小写化中文不需要分词但要去掉全角空格接着统一处理特殊符号比如把“”还原成“”把多余换行符删掉最后按最大长度截断或过滤超长样本。这里有一个容易忽略的点中文数据集里混了大量繁体字和异体字正常简体语料里不应该出现最好做一个简繁转换或直接过滤掉否则模型会生成夹杂繁体字的摘要。有了清洗逻辑紧接着就是长度截断策略。模型对输入序列长度有上限比如 512 或 1024 个 token超过长度就会报错或做截断。有人为了参数“够用”直接把正文头尾截掉这是很粗糙的做法。更合理的策略是先在句子级别去掉 HTML 标签留下的空段落然后按句子顺序从前往后填充到上限附近停止摘要端同样要做长度控制过长的摘要会被截断过短的应该过滤掉因为“嗯”“好的”这类几乎无信息的样本会让训练信号变脏。清洗完的数据务必重新统计一下长度分布和样本总量你会发现过滤后有效数据可能只剩原来的八成这个信息要写进论文的数据处理章节。import json import re def clean_text(text): # 去 HTML 标签去控制字符压缩连续空白 text re.sub(r[^], , text) text re.sub(r[\x00-\x08\x0b\x0c\x0e-\x1f], , text) text re.sub(r\s, , text).strip() return text def process_one_line(line): obj json.loads(line) content clean_text(obj[content]) summary clean_text(obj[summary]) # 句子级过滤正文过短或摘要过短直接丢弃 if len(content) 30 or len(summary) 5: return None return {content: content, summary: summary} with open(raw_data.jsonl, r, encodingutf-8) as f: samples [] for line in f: result process_one_line(line) if result is not None: samples.append(result) print(有效样本数:, len(samples))这段代码做的事很直接读取 JSONL 格式的原始数据对正文和摘要分别做清洗然后按长度阈值过滤。代码里的clean_text用了三个正则——第一个去 HTML 标签第二个去掉 ASCII 控制字符第三个把多个空白压缩成一个空格。过滤条件content 30和summary 5是经验值你可以根据自己的数据集分布调整如果不确定阈值是否合适先统计长度的分位数再定。这一步做完数据才能安全地交给 tokenizer。3.3 数据划分和防止数据泄漏验证集别拿训练集里的新闻来糊弄数据划分不是简单按比例随意切分就结束了摘要任务有一个独特的泄漏风险同一话题的多篇新闻可能在语料里出现多次。比如某条新闻被不同媒体转载正文几乎一样摘要措辞略有差异如果这些相似样本同时出现在训练集和验证集里验证分数会虚高论文里的实验数据经不起复现。处理办法是先按正文内容做去重用简单哈希或判重逻辑把高度相似的样本排除再做正式划分。哈希去重不完美但对毕设来说足够了。常见做法是按 8:1:1 切分训练、验证、测试集但要注意切分方式。不是随机切而是先对样本做全局洗牌再按顺序切洗牌要设定固定随机种子保证每次运行结果一致。验证集的作用是每次训练完看模型效果、决定是否调参测试集只在最终评估时用一次。你在论文里报告的 ROUGE 分数应该来自测试集而不是验证集。还有一个习惯值得养成单独固定一批测试样本训练过程中反复拿它们生成摘要查看输出文本直观感受模型在变好还是变差——指标有滞后性肉眼观察往往能更快发现模型崩溃的迹象。4. 模型训练的全流程从加载预训练模型到计算 ROUGE4.1 微调代码框架用不到一百行代码跑通训练闭环训练部分的代码完全可以基于社区成熟的框架来做。推荐直接用 Transformers 库它把模型结构、tokenizer、训练器都封装好了你只需要写数据处理和评估逻辑。整体流程是加载预训练模型和分词器 → 把原始文本编码成 input_ids 和 attention_mask → 构造 PyTorch Dataset → 配置训练参数 → 启动训练。下面这段代码是我给某本科生改过的快速启动模板从加载模型到开始训练不超过八十行。import torch from torch.utils.data import Dataset, DataLoader from transformers import ( BartForConditionalGeneration, BartTokenizer, Seq2SeqTrainingArguments, Seq2SeqTrainer, ) pretrained_model_path your_model_path # 换成你实际使用的预训练模型路径 tokenizer BartTokenizer.from_pretrained(pretrained_model_path) model BartForConditionalGeneration.from_pretrained(pretrained_model_path) class SumDataset(Dataset): def __init__(self, data, tokenizer, max_src_len512, max_tgt_len64): self.data data self.tokenizer tokenizer self.max_src_len max_src_len self.max_tgt_len max_tgt_len def __len__(self): return len(self.data) def __getitem__(self, idx): item self.data[idx] src self.tokenizer( item[content], max_lengthself.max_src_len, truncationTrue, paddingmax_length, return_tensorspt, ) tgt self.tokenizer( item[summary], max_lengthself.max_tgt_len, truncationTrue, paddingmax_length, return_tensorspt, ) return { input_ids: src[input_ids].squeeze(0), attention_mask: src[attention_mask].squeeze(0), labels: tgt[input_ids].squeeze(0), } train_dataset SumDataset(train_data, tokenizer) val_dataset SumDataset(val_data, tokenizer) training_args Seq2SeqTrainingArguments( output_dir./results, num_train_epochs3, per_device_train_batch_size4, per_device_eval_batch_size4, learning_rate5e-5, warmup_steps500, weight_decay0.01, logging_dir./logs, logging_steps100, save_steps1000, evaluation_strategysteps, eval_steps1000, predict_with_generateTrue, report_tonone, fp16True, ) trainer Seq2SeqTrainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, tokenizertokenizer, ) trainer.train()代码看起来长但核心逻辑集中在三块。第一块是SumDataset它把每一条样本的正文和摘要分别交给 tokenizer 转换成模型输入input_ids是正文的 token 编号attention_mask标记哪些位置是真实 tokenpadding 位置为 0labels是摘要的标准答案。第二块是Seq2SeqTrainingArguments所有训练行为都由它控制参数含义后面展开。第三块是Seq2SeqTrainer它把模型、数据、参数组装在一起train()一行就能启动训练。有几个参数值得特别说明。predict_with_generateTrue表示在验证阶段用生成方式解码而不是直接计算损失来评估模型这一步很关键如果不打开验证分数只反映语言模型损失不能直观看出摘要质量。fp16True启用混合精度训练显存占用能省不少但需要显卡支持CPU 环境跑不了。per_device_train_batch_size4是每个显卡的批大小如果你的显存只有 4GB建议改成 2 或 1后面会讲显存不够时怎么调整。4.2 训练参数到底怎么设学习率、batch size、epoch 和显存策略参数设置是微调阶段最容易困惑的地方也是论文里必须交代的实验细节。学习率方面预训练模型微调一般用 3e-5 到 5e-5 这个范围太小收敛慢太大容易把预训练学到的知识冲掉。我习惯先试 5e-5如果训练 loss 震荡明显就降到 3e-5这个调整要在训练的前几百步里观察不要等跑完一个 epoch 才回头改。epoch 数量看数据量中文短文本摘要数据集有几十万条样本时2 到 3 个 epoch 就足够跑多了会过拟合——一个常见判据是训练 loss 持续下降但验证 loss 开始回升这时候就该停了。batch size 的设置受到显存限制但要注意它不只影响显存还影响模型收敛质量。更大的 batch size 通常让梯度的估计更稳定但也会让模型更难跳出局部最优小 batch size 加适当学习率在摘要微调里往往效果更好。实际的做法是先设 batch size 为 4如果显存溢出减到 2同时把gradient_accumulation_steps设为 2 或 4。梯度累积的意思是攒够多个小 batch 的梯度后再统一更新一次参数模拟大 batch size 的效果。比如 batch size2、accumulation4等效于用 8 条样本计算一次梯度更新显存占用却和 batch size2 一样。下面是一个典型的小显存配置。per_device_train_batch_size2 gradient_accumulation_steps4 fp16True max_source_length384 max_target_length48这套配置是我在 4GB 显存下跑过的组合。max_source_length384把输入序列缩短了一些配合max_target_length48让单条数据占用的显存明显下降。代价是如果数据集里有些长文本超过长度的部分会被截掉模型看不到完整内容摘要质量会略降。在做实验的时候长文本截断这个问题需要你单独写出来讨论不能假装不存在处理方式可以是按比例统计被截断的样本数量并在论文里说明这个限制。参数推荐值作用显存不够时怎么改learning_rate5e-5 → 3e-5控制参数更新步长不需要改per_device_train_batch_size4单卡单步训练样本数降到 2 或 1gradient_accumulation_steps1模拟更大 batch提到 2 或 4num_train_epochs2~3训练轮数不需要改fp16True混合精度省显存不支持时只能减序列长度max_source_length512正文最大 token 数降到 384 或 2564.3 生成与评估beam search 的陷阱和 ROUGE 分数的正确打开方式训练结束后真正用于生成摘要的阶段和解码策略强相关。所谓解码就是模型在每一步预测下一个词不断重复直到生成结束符。最简单的贪心解码是每一步都取概率最大的词但这样容易陷入局部重复更常用的 beam search 会同时保留多个候选序列最终选整体得分最高的。Beam size 一般取 4 到 6太小效果接近贪心太大会让生成变得保守甚至重复。控制重复的核心参数是no_repeat_ngram_size设置为 3 表示禁止任何三个连续词重复出现这个参数几乎必开能解决大部分重复问题。def generate_summary(model, tokenizer, input_text, device): inputs tokenizer( input_text, max_length512, truncationTrue, return_tensorspt, ).to(device) outputs model.generate( **inputs, max_new_tokens64, num_beams4, no_repeat_ngram_size3, length_penalty2.0, early_stoppingTrue, ) summary tokenizer.decode(outputs[0], skip_special_tokensTrue) return summary这段生成代码里num_beams4是效果与速度的折中点no_repeat_ngram_size3是防重复的实用参数length_penalty2.0是给输出长度一个正向激励——大于 1 会鼓励模型生成更长的摘要小于 1 则倾向于短摘要。设置 length_penalty 的经验是如果你的数据集摘要普遍偏长用 1.5 到 2.0如果摘要普遍很短用 0.8 到 1.0。这里没有标准值需要拿验证集试跑几次观察输出长度分布再定。early_stoppingTrue表示 beam search 在足够好的候选出现后提前终止能省时间。评估指标方面文本摘要几乎统一使用 ROUGE 系列指标核心是 ROUGE-1、ROUGE-2 和 ROUGE-L。ROUGE-1 衡量模型生成的摘要与标准摘要之间单字/单词的重叠情况ROUGE-2 衡量连续两个词的重叠ROUGE-L 则基于最长公共子序列计算。对于中文因为分词方式不同ROUGE 分数会受影响——按字计算和按词计算的结果差别很大。我建议统一按字级别计算 ROUGE并明确写在论文里方便和已有工作对比中文摘要研究中按字计算也是更常见的做法。如果拿不准用什么工具找社区里常用的 ROUGE 计算库输入生成结果文件和标准答案文件输出三个分数就能直接用到论文里。5. 本科毕设里最常见的五个训练坑现象、原因和解决5.1 坑一显存溢出一个 batch 都跑不动现象训练刚开始几十步就报 CUDA out of memory整个进程直接退出。我见过不少同学卡在这一步代码本身没有问题纯粹是显存不够。原因主要有三个序列太长、batch size 太大、模型太大。很多人拿到模型不修改默认的 1024 序列长度一条样本就占掉大量显存还有人为了“训练稳”把 batch size 设成 8 或 16显存自然扛不住。解决思路不是二选一而是多项组合把模型换成 base 尺寸而不是 large把max_source_length降到 384batch size 降到 2打开fp16再加上gradient_accumulation_steps4。这套组合下来4GB 显存基本能跑。还有一个常常被忽略的点PyTorch 默认会为每个张量分配缓存训练前执行一次小的前向和反向传播让显存预分配到位能减少运行中的碎片问题。另外如果你开了evaluation_strategysteps验证阶段也会占显存可以把eval_steps调得稀疏一些比如 2000 步评估一次。5.2 坑二生成的摘要全是重复词一段话来回绕现象模型输出的摘要读起来像一个复读机“某某表示某某表示某某表示……”或者连续几个句子共享同样的开头结构完全不连贯。原因有两个层面。第一是解码阶段的重复问题训练时用 teacher forcing把标准答案喂给解码器生成时模型只能靠自己预测的词继续生成一旦某个词概率偏高就会陷入自我强化。第二是训练数据里的摘要本身质量差尤其是中文短文本数据集里部分“摘要”是从原文里原样复制的模型学到了复述而不是概括的坏习惯。解决的先后顺序是先在解码端加no_repeat_ngram_size3和num_beams4这能立刻缓解大部分重复如果还不行不要急着调参而是去检查训练数据——统计摘要里 n-gram 重复的比例发现异常样本就清洗掉。有些同学把全部精力放在调 beam search 上折腾几天还是治标不治本就是因为没意识到数据才是根源。5.3 坑三ROUGE 分数上不去或者比论文里的结果差一大截现象训练正常收敛生成的摘要肉眼看着还行但算出来的 ROUGE-2 不到 5或者跟已发表论文差了好几个点。原因有多种最常见的是评估口径不一致。有人用字符级计算有人用词级计算有人做中文分词后按词计算有人直接按字计算——不同口径下分数差异非常大跟论文对比时根本没有意义。另一个常见问题是测试集里标准摘要本身的风格就和模型生成风格不对齐。比如标准摘要是一个人写的概括语模型生成的是原文关键句改写语义上接近但字面重叠率低ROUGE 分数就不会高。解决方法是先确认你的 ROUGE 计算方式和对比论文一致使用同一套工具和相同口径然后看几个具体的测试样本判断分数低是“真不行”还是“指标没测对”。这里我特别想强调——ROUGE 指标对用词重叠极其敏感生成式摘要换一种表达方式分数就会大幅波动所以论文里除了报告 ROUGE还要放几个生成示例做定性分析这是摘要论文的通行写法。5.4 坑四loss 不降或者收敛极慢训练好几个小时没反应现象训练日志里 loss 在某个数值附近小幅浮动甚至前几百步几乎不动生成的结果像是随机词语的组合。原因往往是学习率和数据噪声的组合问题。学习率设得过低会让模型几乎不更新batch size 太小会让梯度方向剧烈震荡而数据清洗不彻底正文里带着大量 HTML 残留、广告噪声模型会把注意力浪费在学习“识别噪声”上。排查顺序第一步看训练 loss 的绝对数值——如果初始 loss 就异常高比如远大于 5先检查 tokenizer 和模型是否匹配预训练模型和它的分词器必须配对使用。第二步看数据随机抽五十条训练样本人工读一遍确认正文是不是干净的新闻文本。第三步调学习率在训练日志里对比 5e-5 和 1e-4 前 200 步的 loss 曲线选下降更平滑的那个。第四步检查是否该用 warmup——预训练模型微调通常需要 warmup 让模型适应新数据分布warmup_steps500是一个合理的起点。5.5 坑五中文特殊符号、繁体字和空摘要让模型生成“四不像”现象生成的摘要里夹杂繁体字、全角标点混乱甚至出现 URL 片段或“amp;”这类 HTML 实体残留。原因很直接——预处理没做干净。数据里本身就有繁体字或者清洗正则漏掉了 HTML 实体比如amp;模型看到什么就学什么。这个问题在跑中文短文本数据集时尤其普遍因为这类数据集是用爬虫抓取的原文里各种符号都有。解决方法是把清洗规则补完整加一条简繁转换处理或过滤规则把全角字符统一转半角把amp;、lt;等常见 HTML 实体显式还原把包含 URL 的样本清洗掉。做完这一步重新统计清洗前后数据的字符分布你会发现特殊符号占比明显下降。另外还要注意一个隐蔽的问题空摘要。有些样本的摘要字段是空字符串或者只有空格这类样本单独过滤掉即可但不要只过滤“长度小于 5”的摘要这个阈值能把噪声样本挡在门外但也会误伤真实的高质量短摘要需要结合你的数据分布来决定。6. 让摘要效果更进一步的三个技巧定性和定量一起抓到了这个阶段你已经能跑通完整流程并拿到还算正常的 ROUGE 分数了。接下来要做的不是盲目调参而是建立一套“验证-修正-记录”的闭环。第一个技巧是建立一个小型人工评估集从测试集里随机抽 30 到 50 条样本把原文本、标准摘要、模型生成的摘要放在一起打印成对照表每隔几次训练就看一轮。你会很快发现哪些问题是 ROUGE 反映不出来的——比如事实错误、代词指代混乱、关键数字丢失。这些发现写进论文比单纯堆一堆指标更有说服力。第二个技巧是针对生成长度做后处理校验。模型经常会生成过短或过长的摘要一个实用的习惯是在生成后检查 token 数量对明显过短的输出做二次生成调低length_penalty对明显过长的输出做截断并补充结尾标点。这个处理不需要训练只需要在推理阶段写一个小函数。第三个技巧是用两个不同随机种子训练同配置模型对比验证集的 ROUGE 稳定性。如果两次实验分数差距超过 0.5 个点说明训练过程还不够稳定可以在论文里如实说明并取平均值报告如果差距很小说明你的实验配置可靠。这个方法成本低但对结论的可信度提升很有帮助。我最早做这个方向时只盯着 ROUGE-2 一个数字调参结果分数涨了零点几个点就以为自己取得了突破后来某导师让本文还有配套的精品资源点击获取
