简介这是一份基于Transformer模型构建的聊天机器人Python源码包面向具备一定Python基础、希望动手实践对话系统或完成课程设计的开发者。使用者输入文本后系统即可根据语义生成相应回答实现日常聊天功能。资源包共367个文件以308个py源码文件为核心辅以json配置、pyc缓存、xml与txt说明等压缩包约25.85MB目录结构清晰便于按模块阅读与二次开发。项目基于keras-transformer包实现训练数据涵盖百度中文问答WebQA、青云、豆瓣及chatterbot等数据集并已提供处理好的字典数据直接运行Main.py即可体验HyperParameters.py集中管理超参数ModelTrainedParameters用于存放训练参数文件DataSet则用于自行训练时放置数据集。目前已有612人学习下载适合想深入理解Transformer在对话生成中应用、并需要完整可运行工程参考的读者。1. 拆开这个 Transformer 聊天机器人源码包它到底能跑出什么效果很多人第一次拿到「基于 Transformer 的聊天机器人 Python 源码包」脑子里浮现的是 ChatGPT 那种对答如流的画面结果解压一看目录里躺着easy_install-3.6、pyvenv.cfg、setuptools-40.8.0-py3.6.egg这些上古遗物瞬间就懵了。这个包本质上是一个教学向的 Transformer 对话系统实现用 Keras 生态里的keras-transformer包搭了一个编码器-解码器结构输入一句中文输出一句回复。它不依赖任何在线接口全部推理在本地完成适合想搞明白「Transformer 怎么做对话生成」这件事的开发者而不是想直接拿一个成品客服机器人去上线的人。源码包里已经带了处理好的字典和词表数据放在ListData目录下理论上你装完依赖、把训练好的参数文件丢进ModelTrainedParameters直接跑Main.py就能看到对话效果。但这里有个关键前提参数文件没有随包上传你需要自己训练或者向作者索要。所以这个资源的核心价值不在于「开箱即用」而在于它把数据预处理、模型定义、训练流程、推理入口全部摊开给你看是一份可以拆、可以改、可以拿来练手的完整工程骨架。2. 环境搭建与依赖安装从 Python 3.6 虚拟环境到 keras-transformer2.1 为什么这个包锁死在 Python 3.6打开源码包你会看到python3.6、easy_install-3.6、pip3.6、activate这些文件说明作者是在一个 Python 3.6 的虚拟环境里开发和打包的。这不是随便选的版本keras-transformer这个包本身对 TensorFlow 和 Keras 的版本有比较严格的约束而 TensorFlow 1.x 系列在 Python 3.6 上的兼容性最稳。如果你用 Python 3.9 甚至 3.11 去装大概率会在编译某些依赖时翻车。我一般会直接建一个 3.6 的虚拟环境把整个依赖树锁死避免后面出现「明明代码没动却跑不起来」的玄学问题。# 创建 Python 3.6 虚拟环境假设本机已安装 python3.6 python3.6 -m venv venv_chatbot # 激活虚拟环境 # Linux / macOS source venv_chatbot/bin/activate # Windows venv_chatbot\Scripts\activate # 升级 pip 和 setuptools避免旧版本解析依赖失败 pip install --upgrade pip setuptools40.8.0 # 安装核心依赖 pip install keras-transformer pip install tensorflow1.14.0 pip install numpy h5py这里有几个参数值得注意。setuptools40.8.0是源码包里自带的 egg 版本说明作者当时用的就是这个版本锁住它可以减少依赖解析时的意外。tensorflow1.14.0是 TensorFlow 1.x 最后一个支持 Python 3.6 的稳定版本和keras-transformer配合得比较好。如果你装的是 TensorFlow 2.xkeras-transformer内部的某些 API 调用会直接报错因为 2.x 把很多 1.x 的接口废弃了。2.2 目录结构与文件职责解压后不要急着跑Main.py先花两分钟把目录结构看清楚后面排错会快很多。这个包的目录大致是这样的目录/文件作用是否需要改动Main.py推理入口加载模型和字典启动对话循环一般不改HyperParameters.py超参数配置包括序列长度、词表大小、层数等按需调整ModelTrainedParameters/存放训练好的权重文件需要放入参数文件ListData/已处理好的字典、词表等数据不要改DataSet/原始数据集存放位置自行训练时放入venv/或类似目录虚拟环境相关文件可忽略ListData目录是这个包能「直接跑」的关键里面已经包含了分词后的词表和字典映射省掉了你自己做数据清洗和编码的步骤。但这也意味着如果你想换一套自己的语料不能只替换DataSet里的文件还得重新生成ListData里的字典否则词表对不上模型输出的就是乱码。提示如果你拿到的是别人训练好的参数文件先确认它的词表大小和ListData里的字典是否一致。不一致的话加载权重时会报维度不匹配的错误。3. 数据准备与模型训练WebQA、青云、豆瓣、chatterbot 四路语料怎么用3.1 四套数据集的分工与预处理思路源码说明里提到了四套数据集百度中文问答 WebQA、青云数据集、豆瓣数据集、chatterbot 数据集。这四套数据的风格差异很大WebQA 偏事实型问答青云偏开放域对话豆瓣偏短文本互动chatterbot 偏英文对话的翻译版或通用闲聊。作者把它们混在一起训练目的是让模型既能回答一些简单的事实问题也能接住日常闲聊。但混合训练有个坑不同数据集的问答对格式不一样有的是一问一答有的是多轮对话直接拼在一起会导致模型学到的回复风格很混乱。常见做法是先把每套数据统一成「输入-输出」的配对格式然后做一轮清洗去掉空回复、超长回复和重复样本。下面是一个简化的预处理脚本框架你可以根据实际数据格式调整import os import json import re def clean_text(text): 基础清洗去首尾空白、合并连续空格、去掉特殊控制符 text text.strip() text re.sub(r\s, , text) text re.sub(r[\x00-\x1f], , text) return text def load_webqa(path): 加载 WebQA 格式数据假设是 json 行格式 pairs [] with open(path, r, encodingutf-8) as f: for line in f: item json.loads(line) question clean_text(item.get(question, )) answer clean_text(item.get(answer, )) if question and answer and len(answer) 200: pairs.append((question, answer)) return pairs def load_chatterbot(path): 加载 chatterbot 格式数据通常是对话列表 pairs [] with open(path, r, encodingutf-8) as f: data json.load(f) for conversation in data.get(conversations, []): for i in range(len(conversation) - 1): q clean_text(conversation[i]) a clean_text(conversation[i 1]) if q and a: pairs.append((q, a)) return pairs def merge_and_save(all_pairs, out_path): 合并去重后保存为统一的训练格式 seen set() unique_pairs [] for q, a in all_pairs: key (q, a) if key not in seen: seen.add(key) unique_pairs.append({input: q, output: a}) with open(out_path, w, encodingutf-8) as f: for item in unique_pairs: f.write(json.dumps(item, ensure_asciiFalse) \n) print(f保存 {len(unique_pairs)} 条训练对到 {out_path}) if __name__ __main__: all_pairs [] all_pairs.extend(load_webqa(DataSet/webqa.jsonl)) all_pairs.extend(load_chatterbot(DataSet/chatterbot.json)) # 青云和豆瓣按类似方式加载 merge_and_save(all_pairs, DataSet/merged_pairs.jsonl)这段代码的逻辑很直白每套数据用一个加载函数读进来统一清洗后合并去重最后输出成 json 行格式。参数方面len(answer) 200这个阈值是为了过滤掉超长回复因为 Transformer 的序列长度有限太长的目标序列会拖慢训练且容易梯度爆炸。你可以根据HyperParameters.py里的max_seq_len来调整这个阈值一般设成序列长度的 1.5 倍左右比较安全。3.2 训练参数怎么调HyperParameters.py 里的关键项HyperParameters.py是训练和推理共用的配置文件里面有几个参数直接决定模型能不能收敛、显存够不够用。下面这张表列出了常见参数的含义和调整建议参数名典型值作用调整建议max_seq_len50输入和输出的最大序列长度显存小就降到 30太长会 OOMvocab_size根据字典定词表大小必须和 ListData 里的字典一致d_model256模型隐藏层维度想效果好可以加到 512但显存翻倍num_layers4编码器和解码器的层数层数越多越容易过拟合小数据集num_heads8多头注意力的头数一般设成 d_model 的 1/32 到 1/64batch_size32每批样本数显存不够就降到 16 或 8epochs50训练轮数看损失曲线不降了就停我一般会先把d_model设成 256、num_layers设成 4 跑一轮看看损失能不能稳定下降。如果损失震荡得厉害先把batch_size调大一点或者把学习率降一个数量级。如果显存直接爆了优先降max_seq_len和batch_size这两个对显存的影响最直接。注意训练之前确认ListData里的字典和HyperParameters.py里的vocab_size对得上。对不上的话模型会在嵌入层直接报维度错误这个错误信息有时候不太直观容易误以为是数据格式问题。4. 推理与对话测试Main.py 跑起来之后怎么判断模型好坏4.1 加载参数文件并启动对话循环推理的入口是Main.py它的逻辑通常是加载ListData里的字典构建和训练时结构一致的模型从ModelTrainedParameters加载权重然后进入一个循环不断读取用户输入并输出模型回复。如果你拿到了参数文件直接放到ModelTrainedParameters目录下然后运行python Main.py如果一切正常你会看到类似这样的交互用户你好 机器人你好有什么可以帮你的吗 用户今天天气怎么样 机器人今天天气不错适合出去走走。但实际跑起来回复质量取决于训练数据的覆盖面和训练轮数。如果模型只训练了几轮或者数据集里没有类似「今天天气」的样本它可能会回一句完全不相关的话。这不是代码 bug是数据问题。4.2 判断模型是否可用的三个信号跑通Main.py只是第一步你还需要判断这个模型到底能不能用。我一般会看三个信号第一回复是否和输入有语义关联。如果不管输入什么模型都回「好的」或者「不知道」说明模型没学到东西可能是训练轮数不够或者学习率设得太高导致梯度爆炸。第二回复是否重复。如果模型反复输出同一句话比如每次都回「你好」说明解码策略有问题常见原因是贪心解码陷入了局部最优。可以尝试改成 beam search 或者加一点随机采样。第三回复长度是否合理。如果模型总是输出一两个词或者输出超长无意义文本说明max_seq_len或者结束符的设置有问题。检查训练数据里结束符的添加方式确保模型学到了「什么时候该停」。下面是一个简单的推理脚本片段展示了如何加载模型并做单句预测from keras_transformer import get_model import numpy as np import pickle # 加载字典 with open(ListData/token2idx.pkl, rb) as f: token2idx pickle.load(f) with open(ListData/idx2token.pkl, rb) as f: idx2token pickle.load(f) # 构建模型结构必须和训练时一致 model get_model( token_numlen(token2idx), embed_dim256, encoder_num4, decoder_num4, head_num8, hidden_dim512, attention_dropout0.1, dropout_rate0.1, ) # 加载权重 model.load_weights(ModelTrainedParameters/chatbot_weights.h5) def predict(input_text, max_len50): 对单句输入生成回复 tokens list(input_text) input_ids [token2idx.get(t, token2idx.get(unk, 0)) for t in tokens] input_ids input_ids[:max_len] # 编码器输入 encoder_inputs np.array([input_ids]) # 解码器输入先放一个起始符 decoder_inputs np.array([[token2idx.get(sos, 1)]]) # 逐步生成 for _ in range(max_len): outputs model.predict([encoder_inputs, decoder_inputs]) next_token np.argmax(outputs[0, -1, :]) if next_token token2idx.get(eos, 2): break decoder_inputs np.concatenate( [decoder_inputs, np.array([[next_token]])], axis1 ) result .join([idx2token.get(i, ) for i in decoder_inputs[0][1:]]) return result print(predict(你好))这段代码的关键点在于模型结构必须和训练时完全一致包括embed_dim、encoder_num、decoder_num、head_num这些参数任何一个对不上load_weights都会报错。另外解码时用的是贪心策略每一步取概率最大的 token这种方式简单但容易生成重复内容。如果你想效果更好可以把np.argmax换成带温度的随机采样或者实现一个简单的 beam search。提示token2idx和idx2token的文件名可能因版本不同而有差异以ListData目录下的实际文件为准。如果找不到 pickle 文件可能是用 json 或 txt 存的打开看一眼格式再改加载代码。5. 避坑与排查跑这个聊天机器人源码时最容易翻车的五个地方5.1 现象运行 Main.py 报「No module named keras_transformer」原因依赖没装或者装到了错误的 Python 环境里。很多人系统里有多个 Python 版本pip install装到了系统 Python但运行时用的是虚拟环境里的 Python两边对不上。解决先确认当前激活的是哪个环境which python和which pip看路径是否一致。然后在当前环境里重新执行pip install keras-transformer。如果还不行检查pip list里有没有这个包没有的话说明安装过程静默失败了加-v参数看详细日志。5.2 现象加载权重时报「ValueError: Dimension mismatch」原因HyperParameters.py里的vocab_size或d_model和训练时不一致或者ListData里的字典被替换过。解决先确认ListData目录下的字典文件是不是原始版本如果动过换回原始文件。然后检查HyperParameters.py里的vocab_size是否等于字典大小。如果参数文件是别人给的问清楚对方训练时的配置逐项对齐。5.3 现象模型回复全是「 」或者乱码原因输入文本里的字符不在字典里全部被映射成了未知 token。这个包的字典是基于训练语料构建的如果你的输入包含生僻字、英文、特殊符号很可能不在词表里。解决先看ListData里的字典覆盖了哪些字符用简单的中文常用字测试。如果确实需要支持更多字符得重新构建字典并重新训练不能只改推理代码。5.4 现象训练时损失不下降或者降到某个值就卡住原因学习率太大导致震荡或者数据量太小导致过拟合也可能是max_seq_len设得太短很多样本被截断后丢失了关键信息。解决先把学习率降一个数量级试试同时观察损失曲线。如果损失下降后反弹说明过拟合了减少num_layers或者加 dropout。如果损失一直不动检查数据加载是否正确打印几条样本看看输入输出是不是对的。5.5 现象推理速度极慢每句话要等好几秒原因贪心解码是逐步生成的每一步都要跑一次完整的解码器前向传播序列越长越慢。如果模型层数多、d_model大单步推理时间就会很长。解决可以先把max_seq_len降下来限制生成长度。如果还是慢考虑把模型换成更小的配置重新训练或者在推理时用 batch 方式一次生成多个候选。这个包本身没有做推理优化速度慢是正常的不要指望它能做到实时响应。6. 进阶玩法换字典、换数据、换解码策略把这个骨架用起来这个源码包最大的价值不是它自带的对话效果而是它提供了一个完整的、可修改的 Transformer 对话系统骨架。你可以把它当成一个实验平台换不同的数据、调不同的参数、试不同的解码策略观察模型行为的变化。一个比较实用的进阶方向是替换字典和数据集。比如你手头有一批客服对话记录想训练一个垂直领域的问答机器人可以把DataSet里的原始数据换成你的数据然后重新跑一遍字典构建脚本如果源码包里没有现成的构建脚本就自己写一个逻辑不复杂统计词频、保留高频词、给每个词分配索引、加上pad、unk、sos、eos四个特殊 token。字典构建完之后更新HyperParameters.py里的vocab_size再重新训练。另一个方向是改解码策略。默认的贪心解码容易生成安全但无聊的回复你可以试试带温度的采样def sample_with_temperature(probs, temperature0.8): 带温度的随机采样temperature 越低越保守 probs np.asarray(probs).astype(float64) log_probs np.log(probs 1e-8) / temperature exp_probs np.exp(log_probs) probs exp_probs / np.sum(exp_probs) return np.random.choice(len(probs), pprobs)把原来np.argmax那行换成sample_with_temperature(outputs[0, -1, :], temperature0.8)模型就会在概率较高的几个 token 里随机选一个回复的多样性会明显提升。温度设成 0.5 以下会偏保守设成 1.0 以上会偏发散我一般从 0.7 到 0.9 之间试。还有一个容易被忽略的点是评估。训练完之后不能只看几条对话就判断模型好坏最好准备一个小的测试集用 BLEU 或者困惑度perplexity做个量化评估。困惑度可以直接从模型的损失算出来perplexity exp(loss)。困惑度越低说明模型对测试数据的预测越准。如果困惑度一直很高说明模型欠拟合需要加层数或者加数据。从那以后我每次拿到这种教学向的对话系统源码都会先跑通推理、再换一组小数据重新训练一遍、最后改一改解码策略看输出变化这三步走完基本就能摸清这个骨架的边界在哪里。希望帮到你。本文还有配套的精品资源点击获取
简介这是一份基于Transformer模型构建的聊天机器人Python源码包面向具备一定Python基础、希望动手实践对话系统或完成课程设计的开发者。使用者输入文本后系统即可根据语义生成相应回答实现日常聊天功能。资源包共367个文件以308个py源码文件为核心辅以json配置、pyc缓存、xml与txt说明等压缩包约25.85MB目录结构清晰便于按模块阅读与二次开发。项目基于keras-transformer包实现训练数据涵盖百度中文问答WebQA、青云、豆瓣及chatterbot等数据集并已提供处理好的字典数据直接运行Main.py即可体验HyperParameters.py集中管理超参数ModelTrainedParameters用于存放训练参数文件DataSet则用于自行训练时放置数据集。目前已有612人学习下载适合想深入理解Transformer在对话生成中应用、并需要完整可运行工程参考的读者。1. 拆开这个 Transformer 聊天机器人源码包它到底能跑出什么效果很多人第一次拿到「基于 Transformer 的聊天机器人 Python 源码包」脑子里浮现的是 ChatGPT 那种对答如流的画面结果解压一看目录里躺着easy_install-3.6、pyvenv.cfg、setuptools-40.8.0-py3.6.egg这些上古遗物瞬间就懵了。这个包本质上是一个教学向的 Transformer 对话系统实现用 Keras 生态里的keras-transformer包搭了一个编码器-解码器结构输入一句中文输出一句回复。它不依赖任何在线接口全部推理在本地完成适合想搞明白「Transformer 怎么做对话生成」这件事的开发者而不是想直接拿一个成品客服机器人去上线的人。源码包里已经带了处理好的字典和词表数据放在ListData目录下理论上你装完依赖、把训练好的参数文件丢进ModelTrainedParameters直接跑Main.py就能看到对话效果。但这里有个关键前提参数文件没有随包上传你需要自己训练或者向作者索要。所以这个资源的核心价值不在于「开箱即用」而在于它把数据预处理、模型定义、训练流程、推理入口全部摊开给你看是一份可以拆、可以改、可以拿来练手的完整工程骨架。2. 环境搭建与依赖安装从 Python 3.6 虚拟环境到 keras-transformer2.1 为什么这个包锁死在 Python 3.6打开源码包你会看到python3.6、easy_install-3.6、pip3.6、activate这些文件说明作者是在一个 Python 3.6 的虚拟环境里开发和打包的。这不是随便选的版本keras-transformer这个包本身对 TensorFlow 和 Keras 的版本有比较严格的约束而 TensorFlow 1.x 系列在 Python 3.6 上的兼容性最稳。如果你用 Python 3.9 甚至 3.11 去装大概率会在编译某些依赖时翻车。我一般会直接建一个 3.6 的虚拟环境把整个依赖树锁死避免后面出现「明明代码没动却跑不起来」的玄学问题。# 创建 Python 3.6 虚拟环境假设本机已安装 python3.6 python3.6 -m venv venv_chatbot # 激活虚拟环境 # Linux / macOS source venv_chatbot/bin/activate # Windows venv_chatbot\Scripts\activate # 升级 pip 和 setuptools避免旧版本解析依赖失败 pip install --upgrade pip setuptools40.8.0 # 安装核心依赖 pip install keras-transformer pip install tensorflow1.14.0 pip install numpy h5py这里有几个参数值得注意。setuptools40.8.0是源码包里自带的 egg 版本说明作者当时用的就是这个版本锁住它可以减少依赖解析时的意外。tensorflow1.14.0是 TensorFlow 1.x 最后一个支持 Python 3.6 的稳定版本和keras-transformer配合得比较好。如果你装的是 TensorFlow 2.xkeras-transformer内部的某些 API 调用会直接报错因为 2.x 把很多 1.x 的接口废弃了。2.2 目录结构与文件职责解压后不要急着跑Main.py先花两分钟把目录结构看清楚后面排错会快很多。这个包的目录大致是这样的目录/文件作用是否需要改动Main.py推理入口加载模型和字典启动对话循环一般不改HyperParameters.py超参数配置包括序列长度、词表大小、层数等按需调整ModelTrainedParameters/存放训练好的权重文件需要放入参数文件ListData/已处理好的字典、词表等数据不要改DataSet/原始数据集存放位置自行训练时放入venv/或类似目录虚拟环境相关文件可忽略ListData目录是这个包能「直接跑」的关键里面已经包含了分词后的词表和字典映射省掉了你自己做数据清洗和编码的步骤。但这也意味着如果你想换一套自己的语料不能只替换DataSet里的文件还得重新生成ListData里的字典否则词表对不上模型输出的就是乱码。提示如果你拿到的是别人训练好的参数文件先确认它的词表大小和ListData里的字典是否一致。不一致的话加载权重时会报维度不匹配的错误。3. 数据准备与模型训练WebQA、青云、豆瓣、chatterbot 四路语料怎么用3.1 四套数据集的分工与预处理思路源码说明里提到了四套数据集百度中文问答 WebQA、青云数据集、豆瓣数据集、chatterbot 数据集。这四套数据的风格差异很大WebQA 偏事实型问答青云偏开放域对话豆瓣偏短文本互动chatterbot 偏英文对话的翻译版或通用闲聊。作者把它们混在一起训练目的是让模型既能回答一些简单的事实问题也能接住日常闲聊。但混合训练有个坑不同数据集的问答对格式不一样有的是一问一答有的是多轮对话直接拼在一起会导致模型学到的回复风格很混乱。常见做法是先把每套数据统一成「输入-输出」的配对格式然后做一轮清洗去掉空回复、超长回复和重复样本。下面是一个简化的预处理脚本框架你可以根据实际数据格式调整import os import json import re def clean_text(text): 基础清洗去首尾空白、合并连续空格、去掉特殊控制符 text text.strip() text re.sub(r\s, , text) text re.sub(r[\x00-\x1f], , text) return text def load_webqa(path): 加载 WebQA 格式数据假设是 json 行格式 pairs [] with open(path, r, encodingutf-8) as f: for line in f: item json.loads(line) question clean_text(item.get(question, )) answer clean_text(item.get(answer, )) if question and answer and len(answer) 200: pairs.append((question, answer)) return pairs def load_chatterbot(path): 加载 chatterbot 格式数据通常是对话列表 pairs [] with open(path, r, encodingutf-8) as f: data json.load(f) for conversation in data.get(conversations, []): for i in range(len(conversation) - 1): q clean_text(conversation[i]) a clean_text(conversation[i 1]) if q and a: pairs.append((q, a)) return pairs def merge_and_save(all_pairs, out_path): 合并去重后保存为统一的训练格式 seen set() unique_pairs [] for q, a in all_pairs: key (q, a) if key not in seen: seen.add(key) unique_pairs.append({input: q, output: a}) with open(out_path, w, encodingutf-8) as f: for item in unique_pairs: f.write(json.dumps(item, ensure_asciiFalse) \n) print(f保存 {len(unique_pairs)} 条训练对到 {out_path}) if __name__ __main__: all_pairs [] all_pairs.extend(load_webqa(DataSet/webqa.jsonl)) all_pairs.extend(load_chatterbot(DataSet/chatterbot.json)) # 青云和豆瓣按类似方式加载 merge_and_save(all_pairs, DataSet/merged_pairs.jsonl)这段代码的逻辑很直白每套数据用一个加载函数读进来统一清洗后合并去重最后输出成 json 行格式。参数方面len(answer) 200这个阈值是为了过滤掉超长回复因为 Transformer 的序列长度有限太长的目标序列会拖慢训练且容易梯度爆炸。你可以根据HyperParameters.py里的max_seq_len来调整这个阈值一般设成序列长度的 1.5 倍左右比较安全。3.2 训练参数怎么调HyperParameters.py 里的关键项HyperParameters.py是训练和推理共用的配置文件里面有几个参数直接决定模型能不能收敛、显存够不够用。下面这张表列出了常见参数的含义和调整建议参数名典型值作用调整建议max_seq_len50输入和输出的最大序列长度显存小就降到 30太长会 OOMvocab_size根据字典定词表大小必须和 ListData 里的字典一致d_model256模型隐藏层维度想效果好可以加到 512但显存翻倍num_layers4编码器和解码器的层数层数越多越容易过拟合小数据集num_heads8多头注意力的头数一般设成 d_model 的 1/32 到 1/64batch_size32每批样本数显存不够就降到 16 或 8epochs50训练轮数看损失曲线不降了就停我一般会先把d_model设成 256、num_layers设成 4 跑一轮看看损失能不能稳定下降。如果损失震荡得厉害先把batch_size调大一点或者把学习率降一个数量级。如果显存直接爆了优先降max_seq_len和batch_size这两个对显存的影响最直接。注意训练之前确认ListData里的字典和HyperParameters.py里的vocab_size对得上。对不上的话模型会在嵌入层直接报维度错误这个错误信息有时候不太直观容易误以为是数据格式问题。4. 推理与对话测试Main.py 跑起来之后怎么判断模型好坏4.1 加载参数文件并启动对话循环推理的入口是Main.py它的逻辑通常是加载ListData里的字典构建和训练时结构一致的模型从ModelTrainedParameters加载权重然后进入一个循环不断读取用户输入并输出模型回复。如果你拿到了参数文件直接放到ModelTrainedParameters目录下然后运行python Main.py如果一切正常你会看到类似这样的交互用户你好 机器人你好有什么可以帮你的吗 用户今天天气怎么样 机器人今天天气不错适合出去走走。但实际跑起来回复质量取决于训练数据的覆盖面和训练轮数。如果模型只训练了几轮或者数据集里没有类似「今天天气」的样本它可能会回一句完全不相关的话。这不是代码 bug是数据问题。4.2 判断模型是否可用的三个信号跑通Main.py只是第一步你还需要判断这个模型到底能不能用。我一般会看三个信号第一回复是否和输入有语义关联。如果不管输入什么模型都回「好的」或者「不知道」说明模型没学到东西可能是训练轮数不够或者学习率设得太高导致梯度爆炸。第二回复是否重复。如果模型反复输出同一句话比如每次都回「你好」说明解码策略有问题常见原因是贪心解码陷入了局部最优。可以尝试改成 beam search 或者加一点随机采样。第三回复长度是否合理。如果模型总是输出一两个词或者输出超长无意义文本说明max_seq_len或者结束符的设置有问题。检查训练数据里结束符的添加方式确保模型学到了「什么时候该停」。下面是一个简单的推理脚本片段展示了如何加载模型并做单句预测from keras_transformer import get_model import numpy as np import pickle # 加载字典 with open(ListData/token2idx.pkl, rb) as f: token2idx pickle.load(f) with open(ListData/idx2token.pkl, rb) as f: idx2token pickle.load(f) # 构建模型结构必须和训练时一致 model get_model( token_numlen(token2idx), embed_dim256, encoder_num4, decoder_num4, head_num8, hidden_dim512, attention_dropout0.1, dropout_rate0.1, ) # 加载权重 model.load_weights(ModelTrainedParameters/chatbot_weights.h5) def predict(input_text, max_len50): 对单句输入生成回复 tokens list(input_text) input_ids [token2idx.get(t, token2idx.get(unk, 0)) for t in tokens] input_ids input_ids[:max_len] # 编码器输入 encoder_inputs np.array([input_ids]) # 解码器输入先放一个起始符 decoder_inputs np.array([[token2idx.get(sos, 1)]]) # 逐步生成 for _ in range(max_len): outputs model.predict([encoder_inputs, decoder_inputs]) next_token np.argmax(outputs[0, -1, :]) if next_token token2idx.get(eos, 2): break decoder_inputs np.concatenate( [decoder_inputs, np.array([[next_token]])], axis1 ) result .join([idx2token.get(i, ) for i in decoder_inputs[0][1:]]) return result print(predict(你好))这段代码的关键点在于模型结构必须和训练时完全一致包括embed_dim、encoder_num、decoder_num、head_num这些参数任何一个对不上load_weights都会报错。另外解码时用的是贪心策略每一步取概率最大的 token这种方式简单但容易生成重复内容。如果你想效果更好可以把np.argmax换成带温度的随机采样或者实现一个简单的 beam search。提示token2idx和idx2token的文件名可能因版本不同而有差异以ListData目录下的实际文件为准。如果找不到 pickle 文件可能是用 json 或 txt 存的打开看一眼格式再改加载代码。5. 避坑与排查跑这个聊天机器人源码时最容易翻车的五个地方5.1 现象运行 Main.py 报「No module named keras_transformer」原因依赖没装或者装到了错误的 Python 环境里。很多人系统里有多个 Python 版本pip install装到了系统 Python但运行时用的是虚拟环境里的 Python两边对不上。解决先确认当前激活的是哪个环境which python和which pip看路径是否一致。然后在当前环境里重新执行pip install keras-transformer。如果还不行检查pip list里有没有这个包没有的话说明安装过程静默失败了加-v参数看详细日志。5.2 现象加载权重时报「ValueError: Dimension mismatch」原因HyperParameters.py里的vocab_size或d_model和训练时不一致或者ListData里的字典被替换过。解决先确认ListData目录下的字典文件是不是原始版本如果动过换回原始文件。然后检查HyperParameters.py里的vocab_size是否等于字典大小。如果参数文件是别人给的问清楚对方训练时的配置逐项对齐。5.3 现象模型回复全是「 」或者乱码原因输入文本里的字符不在字典里全部被映射成了未知 token。这个包的字典是基于训练语料构建的如果你的输入包含生僻字、英文、特殊符号很可能不在词表里。解决先看ListData里的字典覆盖了哪些字符用简单的中文常用字测试。如果确实需要支持更多字符得重新构建字典并重新训练不能只改推理代码。5.4 现象训练时损失不下降或者降到某个值就卡住原因学习率太大导致震荡或者数据量太小导致过拟合也可能是max_seq_len设得太短很多样本被截断后丢失了关键信息。解决先把学习率降一个数量级试试同时观察损失曲线。如果损失下降后反弹说明过拟合了减少num_layers或者加 dropout。如果损失一直不动检查数据加载是否正确打印几条样本看看输入输出是不是对的。5.5 现象推理速度极慢每句话要等好几秒原因贪心解码是逐步生成的每一步都要跑一次完整的解码器前向传播序列越长越慢。如果模型层数多、d_model大单步推理时间就会很长。解决可以先把max_seq_len降下来限制生成长度。如果还是慢考虑把模型换成更小的配置重新训练或者在推理时用 batch 方式一次生成多个候选。这个包本身没有做推理优化速度慢是正常的不要指望它能做到实时响应。6. 进阶玩法换字典、换数据、换解码策略把这个骨架用起来这个源码包最大的价值不是它自带的对话效果而是它提供了一个完整的、可修改的 Transformer 对话系统骨架。你可以把它当成一个实验平台换不同的数据、调不同的参数、试不同的解码策略观察模型行为的变化。一个比较实用的进阶方向是替换字典和数据集。比如你手头有一批客服对话记录想训练一个垂直领域的问答机器人可以把DataSet里的原始数据换成你的数据然后重新跑一遍字典构建脚本如果源码包里没有现成的构建脚本就自己写一个逻辑不复杂统计词频、保留高频词、给每个词分配索引、加上pad、unk、sos、eos四个特殊 token。字典构建完之后更新HyperParameters.py里的vocab_size再重新训练。另一个方向是改解码策略。默认的贪心解码容易生成安全但无聊的回复你可以试试带温度的采样def sample_with_temperature(probs, temperature0.8): 带温度的随机采样temperature 越低越保守 probs np.asarray(probs).astype(float64) log_probs np.log(probs 1e-8) / temperature exp_probs np.exp(log_probs) probs exp_probs / np.sum(exp_probs) return np.random.choice(len(probs), pprobs)把原来np.argmax那行换成sample_with_temperature(outputs[0, -1, :], temperature0.8)模型就会在概率较高的几个 token 里随机选一个回复的多样性会明显提升。温度设成 0.5 以下会偏保守设成 1.0 以上会偏发散我一般从 0.7 到 0.9 之间试。还有一个容易被忽略的点是评估。训练完之后不能只看几条对话就判断模型好坏最好准备一个小的测试集用 BLEU 或者困惑度perplexity做个量化评估。困惑度可以直接从模型的损失算出来perplexity exp(loss)。困惑度越低说明模型对测试数据的预测越准。如果困惑度一直很高说明模型欠拟合需要加层数或者加数据。从那以后我每次拿到这种教学向的对话系统源码都会先跑通推理、再换一组小数据重新训练一遍、最后改一改解码策略看输出变化这三步走完基本就能摸清这个骨架的边界在哪里。希望帮到你。本文还有配套的精品资源点击获取
