简介这是一份基于TensorFlow 2.0实现RNNLSTM唐诗生成项目的深度学习实战资源适合NLP初学者、算法工程师及毕业设计答辩学员。资源以Python源码为核心包含模型定义、训练脚本、数据集处理与评估模块等6个py文件配合预训练权重h5可直接加载模型生成以“日、红、山、夜”等为开头词汇的唐诗。另附答辩PPT和实验报告PDF可辅助理解循环神经网络原理与实现细节节省绘图和整理文档的时间。压缩包内含12个文件共20.18MB除代码外还提供语料文本与模型结构示意图目录清晰便于对照学习。当前已有1537人浏览学习对于希望上手RNN文本生成实验并产出完整项目成果的学习者这套资源能提供从数据处理到结果演示的可复用支撑。1. RNN唐诗写作不只是玩具它是理解序列生成最划算的一条路把一首五言绝句的前几个字喂给循环神经网络让它补完整首诗——这是我在 TensorFlow 2.0 上带过很多次的项目也是文本生成方向里少有的“数据好找、模型不大、效果直观”的实战选题。唐诗写作本质上是一个字符级语言模型给定前面一串字符预测下一个字符。RNN 的循环结构让隐藏状态变成一张“记忆纸”把已经写过的字逐步压缩成向量再决定下一个字落笔在哪里。这个项目适合两类人一类是刚学完卷积网络、想跨到 NLP 但不想一上来就啃 Transformer 的初学者另一类是已经在做序列生成、想用一个轻量案例验证自己对采样策略和训练技巧理解的工程师。TensorFlow 2.0 的 Keras 接口把 RNN 的搭建压缩到了几行代码真正花时间的反而在数据清洗、序列构造和生成策略上这也是本文想替你走通的部分。2. 为什么是 RNN从全连接到循环结构的选型逻辑2.1 文本生成的核心是“下一个字预测”不是翻译也不是分类很多初学者会把唐诗写作理解成一个“输入诗名、输出全诗”的端到端生成问题这是第一个误区。RNN 文本生成的标准范式是自回归模型在每一个时间步只做一件事——给定已经写出的字符序列预测下一个字符的概率分布。训练时把“床前明月光”拆成序列对输入“床前明月”标签“光”输入“前明月光”标签“”依此类推。预测时把模型自己刚生成的字符拼回输入继续往后滚。这个“逐字预测”的设定决定了三件事。第一模型的输入输出维度必须动态对齐RNN 天然支持变长序列而全连接网络做不到。第二评价指标不能用“整首诗对不对”因为诗没有标准答案只能看每个位置预测的字符概率是否集中在合理候选上。第三训练数据的构造完全围绕“窗口滑动”展开这跟图像分类里“图片配标签”的思维完全不同。唐诗的格律、对仗和意象依赖跨句上下文。“月”字的出现会影响十几二十个字符之后“光”的搭配倾向这种长距离依赖对传统的 N-gram 模型是致命的——N-gram 只盯着前 n-1 个字符窗口一长稀疏性立刻爆炸。RNN 用固定维度的隐状态把整个历史压缩进去不随序列长度增加而增加参数量。这跟 Transformer 的全局注意力是两条路线后者理论上更强但需要更大的数据和更精细的训练技巧在小规模语料、单卡环境、追求快速跑通的教学场景里RNN 仍然是最划算的起点。2.2 TensorFlow 2.0 里的三种循环单元:SimpleRNN、LSTM、GRU 怎么选Keras 里可以直接调用的循环单元有三种选型决定了模型的记忆能力、训练速度和调参复杂度。SimpleRNN 是最原始的版本隐状态直接由当前输入和上一时刻隐状态线性变换后过激活函数得到结构简单但梯度消失严重——当输入序列超过二三十个字符时靠前的信息几乎传不到后面。LSTM 引入输入门、遗忘门、输出门和细胞状态让梯度可以在时间维上“绕道”流动适合捕捉唐诗中跨句的语义关联。GRU 是 LSTM 的简化版把遗忘门和输入门合并成更新门参数更少、训练更快效果在很多任务上接近 LSTM。单元参数量级长距离记忆训练速度适用场景SimpleRNN低弱20字符内还行快教学演示、基线对比LSTM高强适合50字符以上慢唐诗、歌词、代码生成GRU中较强中数据量大、算力受限时我做唐诗生成默认选 LSTM。原因不是 GRU 不行而是 LSTM 的门控机制在“对仗”“押韵”这类需要精确记忆住前文词性的任务上表现更稳定而且踩坑资料多网上能查到的问题解法基本都基于 LSTM。如果你的序列长度控制在 30 字符以内GRU 完全可以胜任还能省下约四分之一参数量。实际在 Keras 里切换单元只需要改一行代码建议两种都跑一遍用验证集 loss 说话不要凭感觉。2.3 Keras 函数式 API 搭一个最小 RNN 文本生成模型TensorFlow 2.0 的 Keras 提供了两种搭建方式Sequential 顺序模型和函数式 API。文本生成模型虽然只有 Embedding、循环层、Dense 三层但我建议直接用函数式 API——原因在于后续如果要接多个输入比如“首字 前文”双路引导或者共享 Embedding 层做对比实验Sequential 会逼着你重写整个模型函数式 API 只需改几行。import tensorflow as tf from tensorflow.keras import layers, Model vocab_size 2500 # 字符表大小需要与数据预处理保持一致 embedding_dim 128 # 每个字符映射到128维向量 rnn_units 256 # LSTM 隐状态维度 seq_len 40 # 输入序列长度与训练数据窗口大小一致 inputs layers.Input(shape(seq_len,), dtypetf.int32, namechars) x layers.Embedding(input_dimvocab_size, output_dimembedding_dim)(inputs) x layers.LSTM(unitsrnn_units, return_sequencesFalse)(x) logits layers.Dense(unitsvocab_size, activationNone, namelogits)(x) model Model(inputsinputs, outputslogits) model.summary()代码逻辑上Embedding 层把每个字符的整数 id 转换成一个稠密向量相当于给每个字学一个“语义坐标”。LSTM 层接收整个序列的向量序列最后只输出最后一个时间步的隐状态——return_sequencesFalse就是告诉模型“我只要整句话读完后的总结向量”。Dense 层把隐状态映射回字符表大小输出的是下一个字符的未归一化分数也就是 logits。参数方面有四个关键点vocab_size不是全唐诗的字数而是你过滤生僻字后保留的字符表大小一般在 1500 到 3000 之间embedding_dim设 128 够用唐诗的词汇量不比大规模语料设太大只会增加参数量rnn_units设 256 是平衡点太小人称代词和意象词容易混淆太大在小数据集上很快过拟合。seq_len与训练数据的窗口大小必须严格一致如果训练时窗口是 40预测时输入长度也必须是 40否则 Keras 会因为维度不匹配直接报错。这个模型参数量大约 90 万GPU 上几十秒一个 epochCPU 上也能跑完全不需要分布式训练。3. 把全唐诗变成训练数据字符集、窗口与 tf.data 管道3.1 数据清洗的尺度什么该留什么该扔全唐诗的原始电子版通常混着作者名、诗题、注释、校勘记还有大量生僻字。训练文本生成模型时这些不是“噪声”而是会污染字符表的真凶——作者名里的“李”“白”会跟诗句里的“白”共享同一个 id模型学到的是“这两种语境下的白是同一个字”但统计分布完全被带偏。我一般的处理顺序是先去掉作者行和诗题行只保留诗正文再把诗正文里所有标点统一映射成两个特殊 token逗号表示句内停顿、句号表示一句结束最后统计字符频次把出现次数少于 5 次的字符全部替换成UNK标记。import re from collections import Counter raw_text open(quan_tang_shi.txt, encodingutf-8).read() # 去掉作者行、诗题行常见格式为“作者诗题”或“卷号 作者” lines raw_text.splitlines() poem_lines [] for line in lines: line line.strip() if not line: continue # 出现两次中文冒号或包含“卷”的行通常不是诗句 if line.count() 2 or line.startswith(卷): continue poem_lines.append(line) # 统一标点中文逗号/顿号 - 逗号token句号/问号/叹号 - 句号token text .join(poem_lines) text re.sub(r[、], , text) text re.sub(r[。], ., text) text re.sub(r\s, , text) # 统计字符频次低频字符映射为 UNK counter Counter(text) vocab {ch: idx for idx, (ch, cnt) in enumerate(counter.items()) if cnt 5} unk_id len(vocab) text_ids [vocab.get(ch, unk_id) for ch in text]这段代码里的“过滤”标准值得展开为什么是出现 5 次而不是 1 次或 20 次阈值太低生僻字和错字会占据 Embedding 矩阵的大部分行模型花大量参数去拟合只出现过一两次的字符阈值太高常用意象词如“蟾”“桂”可能被误伤打油诗词汇表变得平庸。5 次是我在十万字规模的语料上试过的折中值如果你拿到的语料更小可以降到 3 次语料更大则升到 10 次也不过分。UNK必须保留而不是把低频字符直接删掉否则字符 id 的映射表会在训练和预测时错位。3.2 序列窗口化从“诗文本”到“(输入标签)”对清洗完成的文本是一个很长的整数列表下一步要把它切成定长序列。窗口大小直接决定了模型能“看到”多远的上文大小为 40 时模型看到前 40 个字符来预测第 41 个字符相当于看到两句七言诗加一个逗号的长度足以捕捉句内搭配和相邻句之间的语义衔接。窗口太小模型只能学到词语搭配写出来的四句之间毫无关联窗口太大LSTM 的记忆压力上升而且有效训练样本数变少因为文本总长度固定。import numpy as np seq_len 40 step 3 # 步长控制样本重叠度 X, y [], [] for i in range(0, len(text_ids) - seq_len, step): seq_in text_ids[i : i seq_len] seq_out text_ids[i seq_len] X.append(seq_in) y.append(seq_out) X np.array(X, dtypenp.int32) y np.array(y, dtypenp.int32) print(X.shape, y.shape) # 例如 (123456, 40) (123456,)这里最容易被忽略的是step参数。步长设为 1样本数量最大但相邻两个样本只差一个字符训练集冗余严重模型会花大量时间“背诵”而不是“理解”步长设为seq_len样本完全不重叠样本量骤减到原来的四十分之一小语料根本不够训练。step3是我常用的值样本有重叠但重叠度适中十万字规模的语料能产生约三万条训练样本刚好喂饱一个 256 单元的 LSTM。如果你发现训练 loss 下降后生成的诗句总是在重复原文片段可以把 step 调大到 5 或 6降低模型对原文的记忆倾向。3.3 tf.data 管道shuffle、batch、prefetch 的正确姿势Numpy 数组可以直接传给model.fit但 TensorFlow 2.0 的推荐做法是走tf.data.Dataset管道它能把数据准备和 GPU 训练重叠起来还能避免大数组反复拷贝到显存的开销。很多人在这里省事结果训练时 GPU 利用率只有百分之三四十白白浪费算力。batch_size 256 buffer_size 10000 dataset tf.data.Dataset.from_tensor_slices((X, y)) dataset dataset.shuffle(buffer_sizebuffer_size, reshuffle_each_iterationTrue) dataset dataset.batch(batch_size, drop_remainderTrue) dataset dataset.prefetch(tf.data.AUTOTUNE)三行代码对应三个关键决策。shuffle的buffer_size不是“打乱多少条”而是“维护一个多大的滑动窗口用来随机取样”。设为 10000 意味着每取一个 batch 都从窗口内随机抽取窗口太小比如 256打乱效果形同虚设模型每个 epoch 看到的样本顺序基本固定。reshuffle_each_iterationTrue保证每个 epoch 重新洗牌避免模型记住 epoch 之间的样本顺序。prefetch(AUTOTUNE)让数据加载线程提前准备下一批数据这是隐藏 CPU 到 GPU 传输延迟最便宜的一招。还要注意drop_remainderTrue如果最后一个 batch 不足 256 条直接丢弃而不是保留因为 LSTM 的静态图对 batch 维度有要求训练中途出现一个形状不同的 batch 会触发 TensorFlow 重新优化计算图白白卡顿一次。数据量只有几万条时丢掉最后几十条的影响完全可以忽略。4. 训练一个能“作诗”的模型损失、优化器与 checkpoint 策略4.1 用 sparse_categorical_crossentropy 做字符级预测的损失字符级语言模型的输出层是vocab_size个 logits标签是一个整数 id。损失函数应该用sparse_categorical_crossentropy而不是categorical_crossentropy前者内部处理整数标签不做 one-hot 展开省内存也省计算后者要求你把标签预先变成vocab_size维的 one-hot 矩阵两千五百个字符就意味着一份数据多出两千五百倍的标签存储完全没有必要。更不能用 MSE回归损失会把“预测第 2500 号字”这种序数关系误当成数值大小模型学到的东西完全扭曲。loss tf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue) optimizer tf.keras.optimizers.Adam(learning_rate1e-3, clipnorm1.0) model.compile( optimizeroptimizer, lossloss, metrics[accuracy] )from_logitsTrue这个参数是最容易漏的。我们的模型输出层没有接 softmaxDense 层直接给 logits如果这里设成FalseKeras 会以为你传入的是概率分布在内部再做一次 softmax导致梯度被计算两次loss 数值虚高、收敛变慢。clipnorm1.0是给梯度设了范数上限LSTM 在时间维上反传时梯度容易暴涨裁剪后训练稳定性显著提升代价只是极端情况下收敛速度略微下降这笔交易非常划算。学习率方面1e-3是 Adam 的默认值但未必是你的最佳值。字符表两千五、样本三万条时如果 loss 前几个 epoch 不降先不要换优化器把学习率降到5e-4再试。唐诗语料干净梯度方向一致性强过大的学习率会导致 loss 震荡——上一轮还在降下一轮直接反弹看起来像“训不动”其实是学习率踩油门太猛。4.2 训练循环与 checkpoint别让一次中断毁掉几小时算力文本生成模型训练一轮动辄十几分钟如果不设自动保存一次断电、一次显存溢出就会让你回到起点。model.fit的callbacks参数里挂上 ModelCheckpoint 和 EarlyStopping 是最稳妥的做法。checkpoint tf.keras.callbacks.ModelCheckpoint( filepathpoem_lstm_best.keras, monitorval_loss, save_best_onlyTrue, verbose1 ) early_stop tf.keras.callbacks.EarlyStopping( monitorval_loss, patience5, restore_best_weightsTrue ) history model.fit( dataset_train, validation_datadataset_val, epochs50, callbacks[checkpoint, early_stop] )monitor必须用val_loss而不是val_accuracy。文本生成任务里accuracy 高只说明模型学会了高频字符的预测——“的”“是”“人”这类常见字在任何文本里出现概率都很高模型只要保守地预测高频字就能拿到不错的准确率但这样生成的诗毫无个性。val_loss 下降意味着模型对“下一字”的概率分布拟合得更准包括那些低频但关键的字。save_best_onlyTrue配合patience5模型每 5 个 epoch 评估一次如果 val_loss 连续 5 次没有刷新最低纪录就停止训练。这时候你要意识到restore_best_weightsTrue会自动把模型权重回滚到 val_loss 最低的那个 epoch——如果不回滚你拿到的会是训练末期过拟合的权重生成质量反而更差。verbose1会在终端打印每次保存的信息方便看到最优 epoch 出现的位置比如第 30 个 epoch 保存、第 35 个 epoch 触发早停你可以据此判断单轮 epoch 数量设置是否合理。4.3 曲线解读loss 降到多少算正常训不动怎么办很多初学者训练完只看 accuracy看到 0.8 就欢呼实际生成的文本一塌糊涂。字符级语言模型的 loss 数值本身就有意义如果字符表是 2500理论随机猜测的 loss 是ln(2500) ≈ 7.8。训练开始时 loss 在 6 左右是正常的——模型已经学到了字频分布知道常见字比生僻字概率高。loss 降到 2.0 到 2.5 之间对应 perplexity 在 7 到 12意思是模型在每个位置面临的“有效候选字符”大约只有 7 到 12 个这个水平已经能生成语法基本通顺、局部意象合理的句子。loss 降到 1.5 以下时要警惕模型可能开始记忆训练集原文生成内容出现大段背诵。如果真的训不动第一步不是调模型结构而是做一次“单 batch 过拟合测试”只取一个 batch 反复拟合三四十步看 loss 能不能降到接近 0。如果降不下去说明梯度传播有问题检查from_logits和clipnorm如果能降下去说明是数据或学习率的问题。这一步能帮你把“模型结构写错”和“训练策略不当”两类问题快速分开省下一整天的排查时间。5. 文本生成的 4 个常见问题与排查从 loss 不降到全文重复5.1 现象loss 卡在 4 左右不动训练看起来在“原地踏步”我见过最多的翻车现场是 loss 从 6 降到 4 之后怎么都降不下去。原因是多方面的但最常见的是学习率偏大导致损失面震荡或者序列窗口太短让模型失去跨句建模的线索。解决路径先把学习率降到3e-4同时把clipnorm从 1.0 改成 0.5等 loss 重新开始下降再逐步调回如果还不行把seq_len从 40 提到 60让 LSTM 看到更多上文后重新训练。注意每次只改一个变量同时改学习率和序列长度会让实验无法归因。5.2 现象生成的诗句反复循环“床前明月光”后面又是“床前明月光”循环重复是 RNN 文本生成最经典的失败模式。现象背后有两种成因一是温度参数设得太低softmax 分布被压得过尖模型每次只敢挑概率最高的字符陷入局部最优的循环二是模型容量不够256 个 LSTM 单元存不下足够的上下文差异导致对所有相似的上文都给出几乎相同的预测。解决先排除温度因素把生成采样里的temperature从 0.5 调到 1.0 甚至 1.2如果循环消失说明问题在采样策略如果仍然循环把 LSTM 单元数加到 512或者再加一层 LSTM 并设置return_sequencesTrue把两层串起来。5.3 现象生成内容频繁出现UNK句子断断续续像乱码UNK大量出现说明字符表裁剪过狠训练时很多字符被映射成同一个 unknown id模型无法区分它们预测时自然倾向于用 unknown 凑数。解决方式不是加回全部生僻字而是调整过滤阈值把出现次数阈值从 5 降到 2观察UNK占比是否明显下降。另一个常被忽略的坑是数据读取编码Windows 环境下用open()默认编码读 GBK 文本读进来的中文字符全是乱码也会被当成低频字符替换成 unknown。统一用encodingutf-8打开所有数据文件能过滤掉一批诡异的生物。5.4 现象model.fit报错tf.data管道与 Keras 训练循环版本冲突TensorFlow 2.x 的版本迭代频繁tf.data的某些 API 和小版本之间的行为差异会导致训练中途崩溃。我遇到过的典型报错是use_multiprocessing与tf.data.Dataset.map里混用 Python 函数导致的序列化错误。解决原则是不要在Dataset.map里用tf.py_function包裹 Python 逻辑把文本清洗和向量化全部放到进入tf.data之前让管道里只跑纯张量操作。另外把 TensorFlow 版本在项目的requirements.txt里锁死——我一般锁到具体小版本号因为 2.10 和 2.12 之间tf.keras的兼容性差异足够让你浪费一下午。6. 让模型产出更像诗的文本温度采样与韵律约束的实战技巧6.1 温度采样给 softmax 加一个“胆量”旋钮模型训练完成后model.predict输出的 logits 不能直接拿来选字因为概率分布的形状决定了生成风格的“激进”或“保守”。温度采样的做法是对 logits 除以一个温度系数后再做 softmax温度越低分布越尖锐模型越倾向于概率最高的字符温度越高分布越平坦低概率字符被选中的机会越大。def sample_with_temperature(logits, temperature1.0): logits logits / max(temperature, 1e-8) probs tf.nn.softmax(logits, axis-1).numpy() return np.random.choice(len(probs), pprobs)温度0.3时生成的诗句往往最通顺但也最平庸全是高频常见搭配像“白日依山尽黄河入海流”这一类已经被模型背下来的句子温度1.2时句子开始出现意想不到的意象组合但语法错误和病句比例也上升温度超过1.5基本不成句。我的经验是先用温度 0.8 生成几十首确认语法稳定再挑其中意境平淡的句子用温度 1.2 重新采样局部片段把“稳”和“奇”分开控制。6.2 top-k 与 top-p把概率分布的尾巴剪掉温度采样把整个分布都变平滑了但分布尾巴上的几百个生僻字仍然有概率被选中生成出完全无关的字符。top-k 采样只保留概率最高的 k 个字符其余全部置为 0 再重新归一化top-p 采样保留累积概率达到 p 的最小字符集合集合大小随分布形态自适应。def top_p_sampling(logits, p0.9, temperature1.0): logits logits / temperature sorted_logits np.sort(logits)[::-1] cumprobs np.cumsum(tf.nn.softmax(sorted_logits).numpy()) cutoff sorted_logits[np.searchsorted(cumprobs, p)] logits[logits cutoff] -1e9 probs tf.nn.softmax(logits).numpy() return np.random.choice(len(probs), pprobs)top-p 和温度可以叠加使用但顺序要注意先做 top-p 剪枝再除以温度。如果先除温度分布被拉平后累积概率被稀释剪枝集合会变大两个参数互相干扰。p 值设 0.9 到 0.95 之间既能保留生成多样性又不会让生僻字乱入。6.3 用押韵约束做后处理把末句的韵脚钉死在指定字上温度采样和 top-p 解决的还是“逐字生成”的问题但诗的基本盘是押韵和字数。一个常见的做法是先生成前三句最后一句做带约束的采样预先指定末字必须落在某个韵脚字集合里然后在 logits 阶段把其他字符全部屏蔽掉。rhyme_chars [风, 空, 中, 红, 同] # 一东韵常用字按需调整 rhyme_ids [vocab.get(ch, unk_id) for ch in rhyme_chars] def constrained_sample(logits, allowed_ids, temperature0.9): mask np.full(len(logits), -1e9, dtypenp.float32) for idx in allowed_ids: mask[idx] 0.0 logits logits mask return sample_with_temperature(logits, temperature)这种“先生成后约束”的思路本质上是把语言模型的自由生成和规则系统的硬约束解耦——帮你从字符串层面保证押韵而语义层面的对仗和意象衔接仍然由模型负责。这种技巧不只是唐诗写作能用做品牌命名生成、广告语生成、歌词副歌补全时思路完全一致先让模型发散再在采样环节用 mask 收紧规则。我在这类项目上有一条血泪经验永远不要只用一个固定的温度从头跑到尾。先用低温度跑通一条稳定生成的主路径确认整体结构没问题再针对个别诗句提温度做局部重采样这比每次都整套重新生成要可控得多。另外评价生成质量时别只盯着 loss 和 accuracy打开生成结果连续读十首如果每一首都不需要修改就能读懂大意才算这个模型真正可用。希望这些细节能让你少走几步弯路早点跑出第一首能看的“AI 唐诗”。本文还有配套的精品资源点击获取
简介这是一份基于TensorFlow 2.0实现RNNLSTM唐诗生成项目的深度学习实战资源适合NLP初学者、算法工程师及毕业设计答辩学员。资源以Python源码为核心包含模型定义、训练脚本、数据集处理与评估模块等6个py文件配合预训练权重h5可直接加载模型生成以“日、红、山、夜”等为开头词汇的唐诗。另附答辩PPT和实验报告PDF可辅助理解循环神经网络原理与实现细节节省绘图和整理文档的时间。压缩包内含12个文件共20.18MB除代码外还提供语料文本与模型结构示意图目录清晰便于对照学习。当前已有1537人浏览学习对于希望上手RNN文本生成实验并产出完整项目成果的学习者这套资源能提供从数据处理到结果演示的可复用支撑。1. RNN唐诗写作不只是玩具它是理解序列生成最划算的一条路把一首五言绝句的前几个字喂给循环神经网络让它补完整首诗——这是我在 TensorFlow 2.0 上带过很多次的项目也是文本生成方向里少有的“数据好找、模型不大、效果直观”的实战选题。唐诗写作本质上是一个字符级语言模型给定前面一串字符预测下一个字符。RNN 的循环结构让隐藏状态变成一张“记忆纸”把已经写过的字逐步压缩成向量再决定下一个字落笔在哪里。这个项目适合两类人一类是刚学完卷积网络、想跨到 NLP 但不想一上来就啃 Transformer 的初学者另一类是已经在做序列生成、想用一个轻量案例验证自己对采样策略和训练技巧理解的工程师。TensorFlow 2.0 的 Keras 接口把 RNN 的搭建压缩到了几行代码真正花时间的反而在数据清洗、序列构造和生成策略上这也是本文想替你走通的部分。2. 为什么是 RNN从全连接到循环结构的选型逻辑2.1 文本生成的核心是“下一个字预测”不是翻译也不是分类很多初学者会把唐诗写作理解成一个“输入诗名、输出全诗”的端到端生成问题这是第一个误区。RNN 文本生成的标准范式是自回归模型在每一个时间步只做一件事——给定已经写出的字符序列预测下一个字符的概率分布。训练时把“床前明月光”拆成序列对输入“床前明月”标签“光”输入“前明月光”标签“”依此类推。预测时把模型自己刚生成的字符拼回输入继续往后滚。这个“逐字预测”的设定决定了三件事。第一模型的输入输出维度必须动态对齐RNN 天然支持变长序列而全连接网络做不到。第二评价指标不能用“整首诗对不对”因为诗没有标准答案只能看每个位置预测的字符概率是否集中在合理候选上。第三训练数据的构造完全围绕“窗口滑动”展开这跟图像分类里“图片配标签”的思维完全不同。唐诗的格律、对仗和意象依赖跨句上下文。“月”字的出现会影响十几二十个字符之后“光”的搭配倾向这种长距离依赖对传统的 N-gram 模型是致命的——N-gram 只盯着前 n-1 个字符窗口一长稀疏性立刻爆炸。RNN 用固定维度的隐状态把整个历史压缩进去不随序列长度增加而增加参数量。这跟 Transformer 的全局注意力是两条路线后者理论上更强但需要更大的数据和更精细的训练技巧在小规模语料、单卡环境、追求快速跑通的教学场景里RNN 仍然是最划算的起点。2.2 TensorFlow 2.0 里的三种循环单元:SimpleRNN、LSTM、GRU 怎么选Keras 里可以直接调用的循环单元有三种选型决定了模型的记忆能力、训练速度和调参复杂度。SimpleRNN 是最原始的版本隐状态直接由当前输入和上一时刻隐状态线性变换后过激活函数得到结构简单但梯度消失严重——当输入序列超过二三十个字符时靠前的信息几乎传不到后面。LSTM 引入输入门、遗忘门、输出门和细胞状态让梯度可以在时间维上“绕道”流动适合捕捉唐诗中跨句的语义关联。GRU 是 LSTM 的简化版把遗忘门和输入门合并成更新门参数更少、训练更快效果在很多任务上接近 LSTM。单元参数量级长距离记忆训练速度适用场景SimpleRNN低弱20字符内还行快教学演示、基线对比LSTM高强适合50字符以上慢唐诗、歌词、代码生成GRU中较强中数据量大、算力受限时我做唐诗生成默认选 LSTM。原因不是 GRU 不行而是 LSTM 的门控机制在“对仗”“押韵”这类需要精确记忆住前文词性的任务上表现更稳定而且踩坑资料多网上能查到的问题解法基本都基于 LSTM。如果你的序列长度控制在 30 字符以内GRU 完全可以胜任还能省下约四分之一参数量。实际在 Keras 里切换单元只需要改一行代码建议两种都跑一遍用验证集 loss 说话不要凭感觉。2.3 Keras 函数式 API 搭一个最小 RNN 文本生成模型TensorFlow 2.0 的 Keras 提供了两种搭建方式Sequential 顺序模型和函数式 API。文本生成模型虽然只有 Embedding、循环层、Dense 三层但我建议直接用函数式 API——原因在于后续如果要接多个输入比如“首字 前文”双路引导或者共享 Embedding 层做对比实验Sequential 会逼着你重写整个模型函数式 API 只需改几行。import tensorflow as tf from tensorflow.keras import layers, Model vocab_size 2500 # 字符表大小需要与数据预处理保持一致 embedding_dim 128 # 每个字符映射到128维向量 rnn_units 256 # LSTM 隐状态维度 seq_len 40 # 输入序列长度与训练数据窗口大小一致 inputs layers.Input(shape(seq_len,), dtypetf.int32, namechars) x layers.Embedding(input_dimvocab_size, output_dimembedding_dim)(inputs) x layers.LSTM(unitsrnn_units, return_sequencesFalse)(x) logits layers.Dense(unitsvocab_size, activationNone, namelogits)(x) model Model(inputsinputs, outputslogits) model.summary()代码逻辑上Embedding 层把每个字符的整数 id 转换成一个稠密向量相当于给每个字学一个“语义坐标”。LSTM 层接收整个序列的向量序列最后只输出最后一个时间步的隐状态——return_sequencesFalse就是告诉模型“我只要整句话读完后的总结向量”。Dense 层把隐状态映射回字符表大小输出的是下一个字符的未归一化分数也就是 logits。参数方面有四个关键点vocab_size不是全唐诗的字数而是你过滤生僻字后保留的字符表大小一般在 1500 到 3000 之间embedding_dim设 128 够用唐诗的词汇量不比大规模语料设太大只会增加参数量rnn_units设 256 是平衡点太小人称代词和意象词容易混淆太大在小数据集上很快过拟合。seq_len与训练数据的窗口大小必须严格一致如果训练时窗口是 40预测时输入长度也必须是 40否则 Keras 会因为维度不匹配直接报错。这个模型参数量大约 90 万GPU 上几十秒一个 epochCPU 上也能跑完全不需要分布式训练。3. 把全唐诗变成训练数据字符集、窗口与 tf.data 管道3.1 数据清洗的尺度什么该留什么该扔全唐诗的原始电子版通常混着作者名、诗题、注释、校勘记还有大量生僻字。训练文本生成模型时这些不是“噪声”而是会污染字符表的真凶——作者名里的“李”“白”会跟诗句里的“白”共享同一个 id模型学到的是“这两种语境下的白是同一个字”但统计分布完全被带偏。我一般的处理顺序是先去掉作者行和诗题行只保留诗正文再把诗正文里所有标点统一映射成两个特殊 token逗号表示句内停顿、句号表示一句结束最后统计字符频次把出现次数少于 5 次的字符全部替换成UNK标记。import re from collections import Counter raw_text open(quan_tang_shi.txt, encodingutf-8).read() # 去掉作者行、诗题行常见格式为“作者诗题”或“卷号 作者” lines raw_text.splitlines() poem_lines [] for line in lines: line line.strip() if not line: continue # 出现两次中文冒号或包含“卷”的行通常不是诗句 if line.count() 2 or line.startswith(卷): continue poem_lines.append(line) # 统一标点中文逗号/顿号 - 逗号token句号/问号/叹号 - 句号token text .join(poem_lines) text re.sub(r[、], , text) text re.sub(r[。], ., text) text re.sub(r\s, , text) # 统计字符频次低频字符映射为 UNK counter Counter(text) vocab {ch: idx for idx, (ch, cnt) in enumerate(counter.items()) if cnt 5} unk_id len(vocab) text_ids [vocab.get(ch, unk_id) for ch in text]这段代码里的“过滤”标准值得展开为什么是出现 5 次而不是 1 次或 20 次阈值太低生僻字和错字会占据 Embedding 矩阵的大部分行模型花大量参数去拟合只出现过一两次的字符阈值太高常用意象词如“蟾”“桂”可能被误伤打油诗词汇表变得平庸。5 次是我在十万字规模的语料上试过的折中值如果你拿到的语料更小可以降到 3 次语料更大则升到 10 次也不过分。UNK必须保留而不是把低频字符直接删掉否则字符 id 的映射表会在训练和预测时错位。3.2 序列窗口化从“诗文本”到“(输入标签)”对清洗完成的文本是一个很长的整数列表下一步要把它切成定长序列。窗口大小直接决定了模型能“看到”多远的上文大小为 40 时模型看到前 40 个字符来预测第 41 个字符相当于看到两句七言诗加一个逗号的长度足以捕捉句内搭配和相邻句之间的语义衔接。窗口太小模型只能学到词语搭配写出来的四句之间毫无关联窗口太大LSTM 的记忆压力上升而且有效训练样本数变少因为文本总长度固定。import numpy as np seq_len 40 step 3 # 步长控制样本重叠度 X, y [], [] for i in range(0, len(text_ids) - seq_len, step): seq_in text_ids[i : i seq_len] seq_out text_ids[i seq_len] X.append(seq_in) y.append(seq_out) X np.array(X, dtypenp.int32) y np.array(y, dtypenp.int32) print(X.shape, y.shape) # 例如 (123456, 40) (123456,)这里最容易被忽略的是step参数。步长设为 1样本数量最大但相邻两个样本只差一个字符训练集冗余严重模型会花大量时间“背诵”而不是“理解”步长设为seq_len样本完全不重叠样本量骤减到原来的四十分之一小语料根本不够训练。step3是我常用的值样本有重叠但重叠度适中十万字规模的语料能产生约三万条训练样本刚好喂饱一个 256 单元的 LSTM。如果你发现训练 loss 下降后生成的诗句总是在重复原文片段可以把 step 调大到 5 或 6降低模型对原文的记忆倾向。3.3 tf.data 管道shuffle、batch、prefetch 的正确姿势Numpy 数组可以直接传给model.fit但 TensorFlow 2.0 的推荐做法是走tf.data.Dataset管道它能把数据准备和 GPU 训练重叠起来还能避免大数组反复拷贝到显存的开销。很多人在这里省事结果训练时 GPU 利用率只有百分之三四十白白浪费算力。batch_size 256 buffer_size 10000 dataset tf.data.Dataset.from_tensor_slices((X, y)) dataset dataset.shuffle(buffer_sizebuffer_size, reshuffle_each_iterationTrue) dataset dataset.batch(batch_size, drop_remainderTrue) dataset dataset.prefetch(tf.data.AUTOTUNE)三行代码对应三个关键决策。shuffle的buffer_size不是“打乱多少条”而是“维护一个多大的滑动窗口用来随机取样”。设为 10000 意味着每取一个 batch 都从窗口内随机抽取窗口太小比如 256打乱效果形同虚设模型每个 epoch 看到的样本顺序基本固定。reshuffle_each_iterationTrue保证每个 epoch 重新洗牌避免模型记住 epoch 之间的样本顺序。prefetch(AUTOTUNE)让数据加载线程提前准备下一批数据这是隐藏 CPU 到 GPU 传输延迟最便宜的一招。还要注意drop_remainderTrue如果最后一个 batch 不足 256 条直接丢弃而不是保留因为 LSTM 的静态图对 batch 维度有要求训练中途出现一个形状不同的 batch 会触发 TensorFlow 重新优化计算图白白卡顿一次。数据量只有几万条时丢掉最后几十条的影响完全可以忽略。4. 训练一个能“作诗”的模型损失、优化器与 checkpoint 策略4.1 用 sparse_categorical_crossentropy 做字符级预测的损失字符级语言模型的输出层是vocab_size个 logits标签是一个整数 id。损失函数应该用sparse_categorical_crossentropy而不是categorical_crossentropy前者内部处理整数标签不做 one-hot 展开省内存也省计算后者要求你把标签预先变成vocab_size维的 one-hot 矩阵两千五百个字符就意味着一份数据多出两千五百倍的标签存储完全没有必要。更不能用 MSE回归损失会把“预测第 2500 号字”这种序数关系误当成数值大小模型学到的东西完全扭曲。loss tf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue) optimizer tf.keras.optimizers.Adam(learning_rate1e-3, clipnorm1.0) model.compile( optimizeroptimizer, lossloss, metrics[accuracy] )from_logitsTrue这个参数是最容易漏的。我们的模型输出层没有接 softmaxDense 层直接给 logits如果这里设成FalseKeras 会以为你传入的是概率分布在内部再做一次 softmax导致梯度被计算两次loss 数值虚高、收敛变慢。clipnorm1.0是给梯度设了范数上限LSTM 在时间维上反传时梯度容易暴涨裁剪后训练稳定性显著提升代价只是极端情况下收敛速度略微下降这笔交易非常划算。学习率方面1e-3是 Adam 的默认值但未必是你的最佳值。字符表两千五、样本三万条时如果 loss 前几个 epoch 不降先不要换优化器把学习率降到5e-4再试。唐诗语料干净梯度方向一致性强过大的学习率会导致 loss 震荡——上一轮还在降下一轮直接反弹看起来像“训不动”其实是学习率踩油门太猛。4.2 训练循环与 checkpoint别让一次中断毁掉几小时算力文本生成模型训练一轮动辄十几分钟如果不设自动保存一次断电、一次显存溢出就会让你回到起点。model.fit的callbacks参数里挂上 ModelCheckpoint 和 EarlyStopping 是最稳妥的做法。checkpoint tf.keras.callbacks.ModelCheckpoint( filepathpoem_lstm_best.keras, monitorval_loss, save_best_onlyTrue, verbose1 ) early_stop tf.keras.callbacks.EarlyStopping( monitorval_loss, patience5, restore_best_weightsTrue ) history model.fit( dataset_train, validation_datadataset_val, epochs50, callbacks[checkpoint, early_stop] )monitor必须用val_loss而不是val_accuracy。文本生成任务里accuracy 高只说明模型学会了高频字符的预测——“的”“是”“人”这类常见字在任何文本里出现概率都很高模型只要保守地预测高频字就能拿到不错的准确率但这样生成的诗毫无个性。val_loss 下降意味着模型对“下一字”的概率分布拟合得更准包括那些低频但关键的字。save_best_onlyTrue配合patience5模型每 5 个 epoch 评估一次如果 val_loss 连续 5 次没有刷新最低纪录就停止训练。这时候你要意识到restore_best_weightsTrue会自动把模型权重回滚到 val_loss 最低的那个 epoch——如果不回滚你拿到的会是训练末期过拟合的权重生成质量反而更差。verbose1会在终端打印每次保存的信息方便看到最优 epoch 出现的位置比如第 30 个 epoch 保存、第 35 个 epoch 触发早停你可以据此判断单轮 epoch 数量设置是否合理。4.3 曲线解读loss 降到多少算正常训不动怎么办很多初学者训练完只看 accuracy看到 0.8 就欢呼实际生成的文本一塌糊涂。字符级语言模型的 loss 数值本身就有意义如果字符表是 2500理论随机猜测的 loss 是ln(2500) ≈ 7.8。训练开始时 loss 在 6 左右是正常的——模型已经学到了字频分布知道常见字比生僻字概率高。loss 降到 2.0 到 2.5 之间对应 perplexity 在 7 到 12意思是模型在每个位置面临的“有效候选字符”大约只有 7 到 12 个这个水平已经能生成语法基本通顺、局部意象合理的句子。loss 降到 1.5 以下时要警惕模型可能开始记忆训练集原文生成内容出现大段背诵。如果真的训不动第一步不是调模型结构而是做一次“单 batch 过拟合测试”只取一个 batch 反复拟合三四十步看 loss 能不能降到接近 0。如果降不下去说明梯度传播有问题检查from_logits和clipnorm如果能降下去说明是数据或学习率的问题。这一步能帮你把“模型结构写错”和“训练策略不当”两类问题快速分开省下一整天的排查时间。5. 文本生成的 4 个常见问题与排查从 loss 不降到全文重复5.1 现象loss 卡在 4 左右不动训练看起来在“原地踏步”我见过最多的翻车现场是 loss 从 6 降到 4 之后怎么都降不下去。原因是多方面的但最常见的是学习率偏大导致损失面震荡或者序列窗口太短让模型失去跨句建模的线索。解决路径先把学习率降到3e-4同时把clipnorm从 1.0 改成 0.5等 loss 重新开始下降再逐步调回如果还不行把seq_len从 40 提到 60让 LSTM 看到更多上文后重新训练。注意每次只改一个变量同时改学习率和序列长度会让实验无法归因。5.2 现象生成的诗句反复循环“床前明月光”后面又是“床前明月光”循环重复是 RNN 文本生成最经典的失败模式。现象背后有两种成因一是温度参数设得太低softmax 分布被压得过尖模型每次只敢挑概率最高的字符陷入局部最优的循环二是模型容量不够256 个 LSTM 单元存不下足够的上下文差异导致对所有相似的上文都给出几乎相同的预测。解决先排除温度因素把生成采样里的temperature从 0.5 调到 1.0 甚至 1.2如果循环消失说明问题在采样策略如果仍然循环把 LSTM 单元数加到 512或者再加一层 LSTM 并设置return_sequencesTrue把两层串起来。5.3 现象生成内容频繁出现UNK句子断断续续像乱码UNK大量出现说明字符表裁剪过狠训练时很多字符被映射成同一个 unknown id模型无法区分它们预测时自然倾向于用 unknown 凑数。解决方式不是加回全部生僻字而是调整过滤阈值把出现次数阈值从 5 降到 2观察UNK占比是否明显下降。另一个常被忽略的坑是数据读取编码Windows 环境下用open()默认编码读 GBK 文本读进来的中文字符全是乱码也会被当成低频字符替换成 unknown。统一用encodingutf-8打开所有数据文件能过滤掉一批诡异的生物。5.4 现象model.fit报错tf.data管道与 Keras 训练循环版本冲突TensorFlow 2.x 的版本迭代频繁tf.data的某些 API 和小版本之间的行为差异会导致训练中途崩溃。我遇到过的典型报错是use_multiprocessing与tf.data.Dataset.map里混用 Python 函数导致的序列化错误。解决原则是不要在Dataset.map里用tf.py_function包裹 Python 逻辑把文本清洗和向量化全部放到进入tf.data之前让管道里只跑纯张量操作。另外把 TensorFlow 版本在项目的requirements.txt里锁死——我一般锁到具体小版本号因为 2.10 和 2.12 之间tf.keras的兼容性差异足够让你浪费一下午。6. 让模型产出更像诗的文本温度采样与韵律约束的实战技巧6.1 温度采样给 softmax 加一个“胆量”旋钮模型训练完成后model.predict输出的 logits 不能直接拿来选字因为概率分布的形状决定了生成风格的“激进”或“保守”。温度采样的做法是对 logits 除以一个温度系数后再做 softmax温度越低分布越尖锐模型越倾向于概率最高的字符温度越高分布越平坦低概率字符被选中的机会越大。def sample_with_temperature(logits, temperature1.0): logits logits / max(temperature, 1e-8) probs tf.nn.softmax(logits, axis-1).numpy() return np.random.choice(len(probs), pprobs)温度0.3时生成的诗句往往最通顺但也最平庸全是高频常见搭配像“白日依山尽黄河入海流”这一类已经被模型背下来的句子温度1.2时句子开始出现意想不到的意象组合但语法错误和病句比例也上升温度超过1.5基本不成句。我的经验是先用温度 0.8 生成几十首确认语法稳定再挑其中意境平淡的句子用温度 1.2 重新采样局部片段把“稳”和“奇”分开控制。6.2 top-k 与 top-p把概率分布的尾巴剪掉温度采样把整个分布都变平滑了但分布尾巴上的几百个生僻字仍然有概率被选中生成出完全无关的字符。top-k 采样只保留概率最高的 k 个字符其余全部置为 0 再重新归一化top-p 采样保留累积概率达到 p 的最小字符集合集合大小随分布形态自适应。def top_p_sampling(logits, p0.9, temperature1.0): logits logits / temperature sorted_logits np.sort(logits)[::-1] cumprobs np.cumsum(tf.nn.softmax(sorted_logits).numpy()) cutoff sorted_logits[np.searchsorted(cumprobs, p)] logits[logits cutoff] -1e9 probs tf.nn.softmax(logits).numpy() return np.random.choice(len(probs), pprobs)top-p 和温度可以叠加使用但顺序要注意先做 top-p 剪枝再除以温度。如果先除温度分布被拉平后累积概率被稀释剪枝集合会变大两个参数互相干扰。p 值设 0.9 到 0.95 之间既能保留生成多样性又不会让生僻字乱入。6.3 用押韵约束做后处理把末句的韵脚钉死在指定字上温度采样和 top-p 解决的还是“逐字生成”的问题但诗的基本盘是押韵和字数。一个常见的做法是先生成前三句最后一句做带约束的采样预先指定末字必须落在某个韵脚字集合里然后在 logits 阶段把其他字符全部屏蔽掉。rhyme_chars [风, 空, 中, 红, 同] # 一东韵常用字按需调整 rhyme_ids [vocab.get(ch, unk_id) for ch in rhyme_chars] def constrained_sample(logits, allowed_ids, temperature0.9): mask np.full(len(logits), -1e9, dtypenp.float32) for idx in allowed_ids: mask[idx] 0.0 logits logits mask return sample_with_temperature(logits, temperature)这种“先生成后约束”的思路本质上是把语言模型的自由生成和规则系统的硬约束解耦——帮你从字符串层面保证押韵而语义层面的对仗和意象衔接仍然由模型负责。这种技巧不只是唐诗写作能用做品牌命名生成、广告语生成、歌词副歌补全时思路完全一致先让模型发散再在采样环节用 mask 收紧规则。我在这类项目上有一条血泪经验永远不要只用一个固定的温度从头跑到尾。先用低温度跑通一条稳定生成的主路径确认整体结构没问题再针对个别诗句提温度做局部重采样这比每次都整套重新生成要可控得多。另外评价生成质量时别只盯着 loss 和 accuracy打开生成结果连续读十首如果每一首都不需要修改就能读懂大意才算这个模型真正可用。希望这些细节能让你少走几步弯路早点跑出第一首能看的“AI 唐诗”。本文还有配套的精品资源点击获取
