简介面向NLP学习者和诗歌爱好者的Python实战项目实现诗句按韵脚与语义自动接龙。技术层面覆盖中文分词jieba、拼音转换pypinyin、词性标注与语义分析并融合规则匹配与统计学习算法是自然语言处理入门练手的完整案例。压缩包共17个文件、5.86MB主要包含4个Python源码.py、诗歌数据文件.dat/.pk、依赖配置.xml/.iml及说明文档.docx/.txt文件结构简洁便于直接运行与二次开发。项目文档详细说明了从诗词数据抓取、清洗到接龙算法构建的完整流程并提供分词、拼音转换、韵脚匹配等关键模块代码适合NLP初学者、Python开发者以及诗歌文化爱好者参考学习。当前已有496人浏览学习资源以实战为导向通过诗歌接龙这一有趣场景帮助读者理解NLP核心流程快速提升文本处理与算法设计能力。1. NLP 诗歌接龙 Python 项目拆解这份资源能解决什么问题做 NLP 入门项目时很多人卡在「学了一堆理论打开编辑器不知道先写哪行」。这份 NLP 诗歌接龙 Python 资源包就是用来打破这个僵局的它把一个完整的 NLP 小任务——给定上一句诗生成一句首字相接、押韵且语义不跑偏的下一句——做成了可以直接运行的工程。拆开看里面覆盖了古诗语料清洗、诗句级切分、尾字与韵母提取、候选召回、打分排序这几个环节是一条从文本预处理到生成输出的完整链路。适合刚学完 Python 基础、想用真实代码理解 NLP 流程的开发者也适合需要快速给学生或组里同事搭 demo 的人。我把它完整拆跑了一遍下面把可复现步骤和翻车点一起整理出来。2. 接龙的技术底座顶针索引与押韵打分怎么搭诗歌接龙有两种常见玩法一种是「顶针」上一句的最后一个字作为下一句的第一个字另一种是「押韵」只要两句尾字同韵就算接上。这份资源默认走顶针逻辑因为顶针约束硬、判定简单、结果可控押韵作为打分项叠加在顶针之上。这么设计的好处是即使语料里找不到完美押韵的句子接龙也不会断掉顶多押韵分低一些。2.1 先把接龙流程拆成四个可测试的环节我在复现时做的第一件事不是急着看模型而是把整个流程拆成四段独立逻辑语料清洗从原始 TSV 里抽出诗句正文去掉空行、异常行和非五七言句子句子切分把一首诗的内容按全角标点切成单句并清洗掉制表符和空白索引构建按「首字」给所有诗句建倒排索引接龙时能瞬间召回候选打分排序对候选句做押韵、用字多样性、主题契合度打分取最高分输出。为什么坚持拆成四段因为接龙出问题时定位很难。假如接出来的句子押韵但接错字问题大概率在索引假如候选很多但输出很烂问题大概率在打分。我给每个环节都留了 dump 点索引规模、候选数量、打分前三名都打印成日志30 秒内就能锁定是哪一块的问题。这一步省下了后面调参时的大量迷惑时间属于典型的「先跑通、再调好」路线。2.2 顶针索引与字符转移生成两条路线怎么取舍资源包里同时给了两条候选生成路线。第一条是纯索引召回直接拿语料里的原句作为候选from collections import defaultdict def build_first_char_index(lines: list[str]) - dict[str, list[str]]: index defaultdict(list) for line in lines: if len(line) 2: index[line[0]].append(line) return index这段代码按诗句首字分组键是首字值是所有以该字开头的诗句。顶针接龙时上一句的尾字就是这里的键。逻辑说明只收录长度不小于 2 的句子是为了避免单字行污染候选集实际语料里五言七言是主流索引规模一般在一两万条以内内存压力不大。第二条路线是二阶字符转移用于索引没有命中时的兜底生成def build_transitions(lines: list[str]) - dict[str, list[str]]: trans defaultdict(list) for line in lines: for c1, c2 in zip(line, line[1:]): trans[c1].append(c2) return trans这里统计的是「某个字后面跟过哪些字」本质是一个 bigram 语言模型。需要生成时从一个起始字出发反复按概率采样下一个字直到拼出目标长度。两条路线放在一起优先级是先索引召回原句原句不押韵就放宽打分阈值仍然没有候选才走 bigram 生成。原因很直接原句语法和意境有保障生成的句子流畅度不可控只能当兜底。索引召回也有明显边界——语料覆盖。古诗语料里「人、风、云、月」这几个尾字的候选可能有几十句生僻尾字可能一句都没有所以兜底生成必须存在否则接龙会频繁空手返回。bigram 生成时我一般限制长度在 5 或 7生成完再做一次韵母校验通不过就重新采样最多重试三次。2.3 项目文件结构与入口函数梳理把压缩包解压后核心目录大致如下路径作用data/poetry.tsv古诗语料按制表符分隔的文本poem_chain/preprocess.py语料清洗与诗句切分poem_chain/rhyme.py韵母分组与押韵判断poem_chain/generator.py接龙主引擎与打分逻辑main.py命令行交互入口入口函数很薄主要做三件事加载语料、构建索引、进入循环。文件分层刻意做得简单加载逻辑全部收在 PoemChain.load 里main.py 只负责读参数和打印结果这样以后想接 Web 接口或命令行工具都不用动核心代码。from poem_chain.generator import PoemChain def main(seed_line: str, max_steps: int 6): engine PoemChain.load(data/poetry.tsv) cur seed_line for i in range(max_steps): print(cur) nxt engine.step(cur) if nxt is None: break cur nxt参数说明seed_line 是起始句max_steps 控制最多接几轮默认 6 是为了避免无限循环。engine.step 返回 None 表示候选耗尽这时候直接跳出。注意这里每一轮都先把当前句打印出来方便直观看到整条接龙链的走向。3. 把接龙跑起来环境配置与核心代码实操这一章的目标是让读者在半小时内把项目跑通。我默认机器上有 Python 3.8 以上环境下面所有操作都在命令行里完成。整个项目不依赖重型框架理论上比你手搓一个文本生成 demo 要轻得多。3.1 依赖安装与语料预处理项目唯一的硬依赖是 pypinyin它负责把诗句尾字转成拼音韵母。习惯用虚拟环境隔离依赖的话按下面顺序操作python -m venv .venv source .venv/bin/activate pip install pypinyin部分终端环境下激活命令是.venv\Scripts\activate其余一致。安装完后先别急着跑 main.py先验证语料能正常读。我习惯把清洗逻辑和切分逻辑分开因为语料格式一变只需要改清洗这段就够了import re from pathlib import Path def load_clean_lines(path: str, min_len: int 5) - list[str]: raw Path(path).read_text(encodingutf-8) lines [] for row in raw.splitlines(): parts row.split(\t) if len(parts) 5: continue lines.extend(split_poem_lines(parts[4])) lines [ln for ln in lines if len(ln) min_len] lines [ln for ln in lines if re.fullmatch(r[\u4e00-\u9fa5]{5,7}, ln)] return lines逻辑说明先按行读取语料每行至少要有 5 列才保留正文取第 5 列接着用 split_poem_lines 把一首诗的内容切成单句最后用正则[\u4e00-\u9fa5]{5,7}过滤只保留 5 到 7 个汉字的句子把带数字、标点、异体字干扰的行全部剔掉。min_len5 表示至少五言如果只想做七言把 5 改成 7 再跑一遍即可。提示如果语料里混有繁体字或生僻字正则过滤会直接剔除这是预期行为。想保留就需要先做繁简转换这一步不属于资源自带能力按需扩展。3.2 诗句切分与尾字提取切分逻辑看着简单但坑都在细节里。原始语料里一首诗可能是「床前明月光疑是地上霜。举头望明月低头思故乡。」这样的完整字符串必须按全角标点切成四句才能参与索引def split_poem_lines(content: str) - list[str]: content re.sub(r[。\s], , content) return [seg.strip() for seg in content.split( ) if seg.strip()]逻辑说明先把各类全角标点和空白统一替换成空格再按空格切分最后 strip 掉残余空白并丢弃空串。参数说明正则里没有包含顿号「、」因为古诗里顿号很少出现在句尾如果你的语料里有补进去即可。这个函数同时承担了去重前的粗清洗返回值就是后续索引的最小单位。切完之后顶针接龙只关心两个位置句首字和句尾字。def head_tail(line: str) - tuple[str, str]: return line[0], line[-1]这一步不建议用切片以外的任何花哨操作。只要句子清洗得够干净Python 字符串索引就足够可靠不需要分词更不需要词性标注。很多人在这一步过度设计反而引入噪声。3.3 候选生成与押韵打分押韵判断依赖尾字的韵母分组。直接用 pypinyin 的 FINALS 风格取韵母再归并到简化韵部from pypinyin import pinyin, Style YUN_MU { a: (a, ia, ua), o: (o, uo), e: (e, ie, ue), u: (u,), i: (i, ü), ai: (ai, uai), ei: (ei, ui), ao: (ao, iao), ou: (ou, iu), an: (an, ian, uan, üan), en: (en, in, un, ün), ang: (ang, iang, uang), eng: (eng, ing, ong, iong), } def rhyme_group(char: str) - str: final pinyin(char, styleStyle.FINALS, strictFalse)[0][0] for group, finals in YUN_MU.items(): if final in finals: return group return final参数说明Style.FINALS 取的是韵母部分比如「光」会得到「uang」strictFalse 表示遇到多音字时不抛异常取最常见的读音。归并逻辑把「ia」「ua」都算进「a」组这是现代汉语押韵的近似处理做 demo 足够。如果字符不在任何分组里直接返回原始韵母避免程序崩溃。有了韵母分组接龙引擎的主循环就可以写了class PoemChain: def __init__(self, lines: list[str]): self.lines lines self.index build_first_char_index(lines) self.used set() def step(self, prev_line: str) - str | None: key prev_line[-1] candidates [ln for ln in self.index.get(key, []) if ln not in self.used] if not candidates: return None candidates.sort(keylambda ln: score(ln, prev_line), reverseTrue) pick candidates[0] self.used.add(pick) return pick def score(line: str, prev_line: str) - float: s 0.0 if rhyme_group(line[-1]) rhyme_group(prev_line[-1]): s 2.0 s len(set(line)) / len(line) * 0.5 return s逻辑说明先用上一句的尾字去索引里召回所有候选再用 used 集合排除已经输出过的句子避免重复随后按 score 降序取第一个。打分里押韵占 2 分用字多样性最高加 0.5 分这个比例是我调试时试出来的——押韵权重太低容易接出完全不押韵的句子太高又总是重复同韵部那几句。跑通后效果类似输入「床前明月光」输出一句以「光」字开头的候选句比如「光明如昼月如盘」这类。如果语料里「光」字开头的句子太少引擎会返回 None这属于正常现象放宽策略在避坑章节里讲。4. 从单句到多轮主题约束与批量评测单句接龙只是骨架实际用起来至少会撞上两个问题接出来的句子和主题无关以及多轮之后上下文漂移。这一章把这两块的扩展方法讲清楚顺便给出一套能当验收标准的批量评估方式。4.1 主题词约束让接龙不跑题主题约束的做法是在候选召回之后、打分排序之前插入一道过滤。常见做法是维护一个主题词表候选句里命中主题词的加分一个没中的话宁可回到原候选集也不要空手而归def filter_by_topic(candidates: list[str], topics: list[str]) - list[str]: if not topics: return candidates hit [(sum(1 for t in topics if t in ln), ln) for ln in candidates] hit.sort(reverseTrue) matched [ln for _, ln in hit if _ 0] return matched or candidates参数说明topics 是主题词列表比如接「写月」主题就传 [月, 夜, 明]。逻辑是先把候选按命中数排序然后只保留至少命中一个主题词的句子如果一条都没命中说明语料里确实没有相关句此时原样返回候选集保证接龙不断。这里要强调一点主题词匹配用的是子串判断不是分词。古诗分词本来就不可靠子串匹配虽然粗糙但在诗歌这种短文本上反而稳定——我就见过分词把「明月光」切成「明/月光」导致「月」匹配不到的尴尬。4.2 多轮接龙的上下文维护多轮接龙最容易出问题的环节是「用过即弃」引擎内部只有一个 used 集合但没有保存对话历史第二轮接哪句、第三轮接哪句完全取决于上一句。我的做法是包一层会话类用滑窗保存最近几轮class ChainSession: def __init__(self, engine: PoemChain, seed_line: str, history_len: int 3): self.engine engine self.history [seed_line] self.history_len history_len def step(self): prev self.history[-1] nxt self.engine.step(prev) if nxt is None: return None self.history.append(nxt) self.history self.history[-self.history_len:] return nxt参数说明history_len 控制保留最近几轮默认 3。滑窗的作用是让后续的主题过滤可以拿到近期上下文同时避免整段历史无限增长导致检索变慢。这里有个实用细节如果想让接龙更连贯可以把 history_len 调大到 5但代价是候选排除更严格更容易提前接不下去。我一般保持在 3这是覆盖性和持续性之间的平衡点。4.3 接龙质量的批量评估单条接龙看不出整体水平我给这个项目补了一个批量评估函数用来统计成功率、押韵率和重复率。打分权重这种东西多少有点玄学没有指标兜底改完参数根本不知道是变好还是变差def batch_evaluate(engine: PoemChain, seeds: list[str], rounds: int 5): ok, rhyme_hit 0, 0 outputs [] total len(seeds) * rounds for seed in seeds: for _ in range(rounds): nxt engine.step(seed) if nxt is None: continue ok 1 outputs.append(nxt) if rhyme_group(nxt[-1]) rhyme_group(seed[-1]): rhyme_hit 1 repeat_count len(outputs) - len(set(outputs)) return { success_rate: ok / total, rhyme_rate: rhyme_hit / ok if ok else 0.0, repeat_count: repeat_count, }逻辑说明seeds 是起始句池rounds 是每句重复尝试次数。成功率低于 0.6 说明语料里以常见尾字开头的句子太少要去检查语料规模押韵率低于 0.7 说明韵部表太粗或打分权重有问题repeat_count 不为 0 说明跨轮次去重没生效。注意每次评估前要重建 PoemChain 实例避免 used 集合跨批次累积导致指标失真。这三个指标足够在一分钟内判断一次改动是正向还是负向。5. 避坑指南古诗场景下的编码、分词与重复问题这一章全是复现过程中实际踩过的坑按「现象 → 原因 → 解决」记录每条都对应一次真实翻车。古诗场景的坑和现代文本场景不太一样集中在编码、分词的错位和去重这几块。5.1 乱码现象命令行里输出的诗句变成「锟斤拷」一类的替换字符或者干脆是一串方块。某些终端控制台环境尤其常见。原因语料文件本身是 UTF-8但控制台默认代码页是 GBK 之类的本地编码另一个常见原因是open()没指定编码Python 在某些环境会拿系统默认编码去读文件两边一错位就全乱了。解决读取和输出两侧都显式指定编码。读取时用Path(path).read_text(encodingutf-8)输出时在入口处加一行import sys sys.stdout.reconfigure(encodingutf-8)这行代码在 Python 3.7 之后可用放在 main 函数开头即可。从那以后我凡是处理中文语料第一件事就是固定编码不再依赖环境默认值。5.2 分词把古诗切碎现象做主题匹配时「床前明月光」被切成了「床前/明月光」或者更离谱的碎片导致「月」这个主题词怎么都匹配不到。原因很多通用中文分词库是为现代汉语训练的对古诗的二字结构、三字结构支持很差古诗里大量是名词堆叠没有明确的词边界分词器只能靠猜。解决在诗歌场景里索性不用分词改用整句的子串匹配如果非要抽取主题词就维护一个人工词表。这不是偷懒古诗词处理里字级特征往往比词级特征稳定强行上分词只会引入新的错误源。5.3 内存飙升现象加载完整语料后内存轻松越过 1GB而且首次调用押韵判断时卡了好几秒。原因两个叠加因素一是语料里每行都带着标题、作者等无关字段一起常驻内存二是每一次押韵判断都是一次独立的拼音查询没有缓存重复调用被放大。解决预处理时只保留诗句正文并把韵母结果预先算好落盘import json all_chars {ch for ln in lines for ch in ln} rhyme_cache {ch: rhyme_group(ch) for ch in all_chars} json.dump(rhyme_cache, open(data/rhyme_cache.json, w, encodingutf-8))之后每次启动直接json.load把字典读进内存即可。注意这里是对全字集合预计算而不是对每个句子重复算能省掉绝大多数重复计算。实测下来这个改动能把启动时间从秒级降到毫秒级。5.4 重复输出与上下文丢失现象第一次、第二次接龙都输出同一句诗甚至同一句诗在一条接龙链里出现两次。原因引擎每次 step 都独立排序或采样没有跨轮次去重多轮接龙时未保存历史导致同一候选被反复选中。这是资源包初版最容易被吐槽的问题。解决用一个跨轮次的 used 集合并且在候选不足时做三级放宽先放宽押韵要求再放宽主题约束最后才允许 bigram 兜底生成。放宽顺序讲究优先级——宁可接得不押韵也不要接出重复句重复比不押韵刺眼得多。5.5 押韵误判现象有些句子在现代读音里押韵但读起来感觉别扭反过来古诗里明显押韵的字被判成不押韵。原因这套押韵判断基于现代汉语拼音韵母和古音体系不是一回事。古诗里有些字古今读音差异很大现代读音拆散了不少原本押韵的组合。解决在资源说明里明确标注押韵判断基于现代汉语近似如果读者要严格古音需要另换一套平水韵映射表。demo 场景用现代韵完全够用别在这个点上过度纠结这属于预期内的精度边界不算 bug。6. 收尾技巧用固定随机种子做回归评测改完生成逻辑之后最怕的是「好像变好了又好像变差了」。我给的办法是写一个带固定随机种子的回归脚本把每次改动的结果固定下来做对比相当于给项目留了一颗后悔药。6.1 回归脚本的结构import random def run_regression(engine, seed_pool, rounds3, chain_len4): report [] for r in range(rounds): random.seed(2024 r * 100) seed random.choice(seed_pool) session ChainSession(engine, seed) chain [seed] for _ in range(chain_len): nxt session.step() if not nxt: break chain.append(nxt) report.append({ round: r, seed: seed, steps: len(chain) - 1, unique: len(set(chain)) len(chain), all_rhyme: len(chain) 1 and all( rhyme_group(a[-1]) rhyme_group(b[-1]) for a, b in zip(chain[:-1], chain[1:]) ), }) return report判定标准很直接steps 小于 2 说明候选召回不足语料覆盖或者索引构建有问题unique 为 False 说明去重失效优先检查 used 集合的生命周期all_rhyme 一直为 True 反而要警惕说明语料里同韵部句子太集中接龙多样性差这时候需要调低押韵权重或者扩充语料来源。执行方式是固定的每次改完代码跑一遍这套脚本把 report 和上一版逐字段对一遍再去看具体生成样例。两分钟就能判断改动是正向还是负向而不是靠肉眼一条条读输出碰运气。这个脚本我顺手也接进了项目的单元测试框架里只要生成逻辑有改动就跑一遍回归任何字段异常立刻暴露。从那以后我每次调整打分权重或语料过滤条件都会先跑这套脚本再去看具体生成样例——先有指标再谈感觉。希望帮到你。本文还有配套的精品资源点击获取
简介面向NLP学习者和诗歌爱好者的Python实战项目实现诗句按韵脚与语义自动接龙。技术层面覆盖中文分词jieba、拼音转换pypinyin、词性标注与语义分析并融合规则匹配与统计学习算法是自然语言处理入门练手的完整案例。压缩包共17个文件、5.86MB主要包含4个Python源码.py、诗歌数据文件.dat/.pk、依赖配置.xml/.iml及说明文档.docx/.txt文件结构简洁便于直接运行与二次开发。项目文档详细说明了从诗词数据抓取、清洗到接龙算法构建的完整流程并提供分词、拼音转换、韵脚匹配等关键模块代码适合NLP初学者、Python开发者以及诗歌文化爱好者参考学习。当前已有496人浏览学习资源以实战为导向通过诗歌接龙这一有趣场景帮助读者理解NLP核心流程快速提升文本处理与算法设计能力。1. NLP 诗歌接龙 Python 项目拆解这份资源能解决什么问题做 NLP 入门项目时很多人卡在「学了一堆理论打开编辑器不知道先写哪行」。这份 NLP 诗歌接龙 Python 资源包就是用来打破这个僵局的它把一个完整的 NLP 小任务——给定上一句诗生成一句首字相接、押韵且语义不跑偏的下一句——做成了可以直接运行的工程。拆开看里面覆盖了古诗语料清洗、诗句级切分、尾字与韵母提取、候选召回、打分排序这几个环节是一条从文本预处理到生成输出的完整链路。适合刚学完 Python 基础、想用真实代码理解 NLP 流程的开发者也适合需要快速给学生或组里同事搭 demo 的人。我把它完整拆跑了一遍下面把可复现步骤和翻车点一起整理出来。2. 接龙的技术底座顶针索引与押韵打分怎么搭诗歌接龙有两种常见玩法一种是「顶针」上一句的最后一个字作为下一句的第一个字另一种是「押韵」只要两句尾字同韵就算接上。这份资源默认走顶针逻辑因为顶针约束硬、判定简单、结果可控押韵作为打分项叠加在顶针之上。这么设计的好处是即使语料里找不到完美押韵的句子接龙也不会断掉顶多押韵分低一些。2.1 先把接龙流程拆成四个可测试的环节我在复现时做的第一件事不是急着看模型而是把整个流程拆成四段独立逻辑语料清洗从原始 TSV 里抽出诗句正文去掉空行、异常行和非五七言句子句子切分把一首诗的内容按全角标点切成单句并清洗掉制表符和空白索引构建按「首字」给所有诗句建倒排索引接龙时能瞬间召回候选打分排序对候选句做押韵、用字多样性、主题契合度打分取最高分输出。为什么坚持拆成四段因为接龙出问题时定位很难。假如接出来的句子押韵但接错字问题大概率在索引假如候选很多但输出很烂问题大概率在打分。我给每个环节都留了 dump 点索引规模、候选数量、打分前三名都打印成日志30 秒内就能锁定是哪一块的问题。这一步省下了后面调参时的大量迷惑时间属于典型的「先跑通、再调好」路线。2.2 顶针索引与字符转移生成两条路线怎么取舍资源包里同时给了两条候选生成路线。第一条是纯索引召回直接拿语料里的原句作为候选from collections import defaultdict def build_first_char_index(lines: list[str]) - dict[str, list[str]]: index defaultdict(list) for line in lines: if len(line) 2: index[line[0]].append(line) return index这段代码按诗句首字分组键是首字值是所有以该字开头的诗句。顶针接龙时上一句的尾字就是这里的键。逻辑说明只收录长度不小于 2 的句子是为了避免单字行污染候选集实际语料里五言七言是主流索引规模一般在一两万条以内内存压力不大。第二条路线是二阶字符转移用于索引没有命中时的兜底生成def build_transitions(lines: list[str]) - dict[str, list[str]]: trans defaultdict(list) for line in lines: for c1, c2 in zip(line, line[1:]): trans[c1].append(c2) return trans这里统计的是「某个字后面跟过哪些字」本质是一个 bigram 语言模型。需要生成时从一个起始字出发反复按概率采样下一个字直到拼出目标长度。两条路线放在一起优先级是先索引召回原句原句不押韵就放宽打分阈值仍然没有候选才走 bigram 生成。原因很直接原句语法和意境有保障生成的句子流畅度不可控只能当兜底。索引召回也有明显边界——语料覆盖。古诗语料里「人、风、云、月」这几个尾字的候选可能有几十句生僻尾字可能一句都没有所以兜底生成必须存在否则接龙会频繁空手返回。bigram 生成时我一般限制长度在 5 或 7生成完再做一次韵母校验通不过就重新采样最多重试三次。2.3 项目文件结构与入口函数梳理把压缩包解压后核心目录大致如下路径作用data/poetry.tsv古诗语料按制表符分隔的文本poem_chain/preprocess.py语料清洗与诗句切分poem_chain/rhyme.py韵母分组与押韵判断poem_chain/generator.py接龙主引擎与打分逻辑main.py命令行交互入口入口函数很薄主要做三件事加载语料、构建索引、进入循环。文件分层刻意做得简单加载逻辑全部收在 PoemChain.load 里main.py 只负责读参数和打印结果这样以后想接 Web 接口或命令行工具都不用动核心代码。from poem_chain.generator import PoemChain def main(seed_line: str, max_steps: int 6): engine PoemChain.load(data/poetry.tsv) cur seed_line for i in range(max_steps): print(cur) nxt engine.step(cur) if nxt is None: break cur nxt参数说明seed_line 是起始句max_steps 控制最多接几轮默认 6 是为了避免无限循环。engine.step 返回 None 表示候选耗尽这时候直接跳出。注意这里每一轮都先把当前句打印出来方便直观看到整条接龙链的走向。3. 把接龙跑起来环境配置与核心代码实操这一章的目标是让读者在半小时内把项目跑通。我默认机器上有 Python 3.8 以上环境下面所有操作都在命令行里完成。整个项目不依赖重型框架理论上比你手搓一个文本生成 demo 要轻得多。3.1 依赖安装与语料预处理项目唯一的硬依赖是 pypinyin它负责把诗句尾字转成拼音韵母。习惯用虚拟环境隔离依赖的话按下面顺序操作python -m venv .venv source .venv/bin/activate pip install pypinyin部分终端环境下激活命令是.venv\Scripts\activate其余一致。安装完后先别急着跑 main.py先验证语料能正常读。我习惯把清洗逻辑和切分逻辑分开因为语料格式一变只需要改清洗这段就够了import re from pathlib import Path def load_clean_lines(path: str, min_len: int 5) - list[str]: raw Path(path).read_text(encodingutf-8) lines [] for row in raw.splitlines(): parts row.split(\t) if len(parts) 5: continue lines.extend(split_poem_lines(parts[4])) lines [ln for ln in lines if len(ln) min_len] lines [ln for ln in lines if re.fullmatch(r[\u4e00-\u9fa5]{5,7}, ln)] return lines逻辑说明先按行读取语料每行至少要有 5 列才保留正文取第 5 列接着用 split_poem_lines 把一首诗的内容切成单句最后用正则[\u4e00-\u9fa5]{5,7}过滤只保留 5 到 7 个汉字的句子把带数字、标点、异体字干扰的行全部剔掉。min_len5 表示至少五言如果只想做七言把 5 改成 7 再跑一遍即可。提示如果语料里混有繁体字或生僻字正则过滤会直接剔除这是预期行为。想保留就需要先做繁简转换这一步不属于资源自带能力按需扩展。3.2 诗句切分与尾字提取切分逻辑看着简单但坑都在细节里。原始语料里一首诗可能是「床前明月光疑是地上霜。举头望明月低头思故乡。」这样的完整字符串必须按全角标点切成四句才能参与索引def split_poem_lines(content: str) - list[str]: content re.sub(r[。\s], , content) return [seg.strip() for seg in content.split( ) if seg.strip()]逻辑说明先把各类全角标点和空白统一替换成空格再按空格切分最后 strip 掉残余空白并丢弃空串。参数说明正则里没有包含顿号「、」因为古诗里顿号很少出现在句尾如果你的语料里有补进去即可。这个函数同时承担了去重前的粗清洗返回值就是后续索引的最小单位。切完之后顶针接龙只关心两个位置句首字和句尾字。def head_tail(line: str) - tuple[str, str]: return line[0], line[-1]这一步不建议用切片以外的任何花哨操作。只要句子清洗得够干净Python 字符串索引就足够可靠不需要分词更不需要词性标注。很多人在这一步过度设计反而引入噪声。3.3 候选生成与押韵打分押韵判断依赖尾字的韵母分组。直接用 pypinyin 的 FINALS 风格取韵母再归并到简化韵部from pypinyin import pinyin, Style YUN_MU { a: (a, ia, ua), o: (o, uo), e: (e, ie, ue), u: (u,), i: (i, ü), ai: (ai, uai), ei: (ei, ui), ao: (ao, iao), ou: (ou, iu), an: (an, ian, uan, üan), en: (en, in, un, ün), ang: (ang, iang, uang), eng: (eng, ing, ong, iong), } def rhyme_group(char: str) - str: final pinyin(char, styleStyle.FINALS, strictFalse)[0][0] for group, finals in YUN_MU.items(): if final in finals: return group return final参数说明Style.FINALS 取的是韵母部分比如「光」会得到「uang」strictFalse 表示遇到多音字时不抛异常取最常见的读音。归并逻辑把「ia」「ua」都算进「a」组这是现代汉语押韵的近似处理做 demo 足够。如果字符不在任何分组里直接返回原始韵母避免程序崩溃。有了韵母分组接龙引擎的主循环就可以写了class PoemChain: def __init__(self, lines: list[str]): self.lines lines self.index build_first_char_index(lines) self.used set() def step(self, prev_line: str) - str | None: key prev_line[-1] candidates [ln for ln in self.index.get(key, []) if ln not in self.used] if not candidates: return None candidates.sort(keylambda ln: score(ln, prev_line), reverseTrue) pick candidates[0] self.used.add(pick) return pick def score(line: str, prev_line: str) - float: s 0.0 if rhyme_group(line[-1]) rhyme_group(prev_line[-1]): s 2.0 s len(set(line)) / len(line) * 0.5 return s逻辑说明先用上一句的尾字去索引里召回所有候选再用 used 集合排除已经输出过的句子避免重复随后按 score 降序取第一个。打分里押韵占 2 分用字多样性最高加 0.5 分这个比例是我调试时试出来的——押韵权重太低容易接出完全不押韵的句子太高又总是重复同韵部那几句。跑通后效果类似输入「床前明月光」输出一句以「光」字开头的候选句比如「光明如昼月如盘」这类。如果语料里「光」字开头的句子太少引擎会返回 None这属于正常现象放宽策略在避坑章节里讲。4. 从单句到多轮主题约束与批量评测单句接龙只是骨架实际用起来至少会撞上两个问题接出来的句子和主题无关以及多轮之后上下文漂移。这一章把这两块的扩展方法讲清楚顺便给出一套能当验收标准的批量评估方式。4.1 主题词约束让接龙不跑题主题约束的做法是在候选召回之后、打分排序之前插入一道过滤。常见做法是维护一个主题词表候选句里命中主题词的加分一个没中的话宁可回到原候选集也不要空手而归def filter_by_topic(candidates: list[str], topics: list[str]) - list[str]: if not topics: return candidates hit [(sum(1 for t in topics if t in ln), ln) for ln in candidates] hit.sort(reverseTrue) matched [ln for _, ln in hit if _ 0] return matched or candidates参数说明topics 是主题词列表比如接「写月」主题就传 [月, 夜, 明]。逻辑是先把候选按命中数排序然后只保留至少命中一个主题词的句子如果一条都没命中说明语料里确实没有相关句此时原样返回候选集保证接龙不断。这里要强调一点主题词匹配用的是子串判断不是分词。古诗分词本来就不可靠子串匹配虽然粗糙但在诗歌这种短文本上反而稳定——我就见过分词把「明月光」切成「明/月光」导致「月」匹配不到的尴尬。4.2 多轮接龙的上下文维护多轮接龙最容易出问题的环节是「用过即弃」引擎内部只有一个 used 集合但没有保存对话历史第二轮接哪句、第三轮接哪句完全取决于上一句。我的做法是包一层会话类用滑窗保存最近几轮class ChainSession: def __init__(self, engine: PoemChain, seed_line: str, history_len: int 3): self.engine engine self.history [seed_line] self.history_len history_len def step(self): prev self.history[-1] nxt self.engine.step(prev) if nxt is None: return None self.history.append(nxt) self.history self.history[-self.history_len:] return nxt参数说明history_len 控制保留最近几轮默认 3。滑窗的作用是让后续的主题过滤可以拿到近期上下文同时避免整段历史无限增长导致检索变慢。这里有个实用细节如果想让接龙更连贯可以把 history_len 调大到 5但代价是候选排除更严格更容易提前接不下去。我一般保持在 3这是覆盖性和持续性之间的平衡点。4.3 接龙质量的批量评估单条接龙看不出整体水平我给这个项目补了一个批量评估函数用来统计成功率、押韵率和重复率。打分权重这种东西多少有点玄学没有指标兜底改完参数根本不知道是变好还是变差def batch_evaluate(engine: PoemChain, seeds: list[str], rounds: int 5): ok, rhyme_hit 0, 0 outputs [] total len(seeds) * rounds for seed in seeds: for _ in range(rounds): nxt engine.step(seed) if nxt is None: continue ok 1 outputs.append(nxt) if rhyme_group(nxt[-1]) rhyme_group(seed[-1]): rhyme_hit 1 repeat_count len(outputs) - len(set(outputs)) return { success_rate: ok / total, rhyme_rate: rhyme_hit / ok if ok else 0.0, repeat_count: repeat_count, }逻辑说明seeds 是起始句池rounds 是每句重复尝试次数。成功率低于 0.6 说明语料里以常见尾字开头的句子太少要去检查语料规模押韵率低于 0.7 说明韵部表太粗或打分权重有问题repeat_count 不为 0 说明跨轮次去重没生效。注意每次评估前要重建 PoemChain 实例避免 used 集合跨批次累积导致指标失真。这三个指标足够在一分钟内判断一次改动是正向还是负向。5. 避坑指南古诗场景下的编码、分词与重复问题这一章全是复现过程中实际踩过的坑按「现象 → 原因 → 解决」记录每条都对应一次真实翻车。古诗场景的坑和现代文本场景不太一样集中在编码、分词的错位和去重这几块。5.1 乱码现象命令行里输出的诗句变成「锟斤拷」一类的替换字符或者干脆是一串方块。某些终端控制台环境尤其常见。原因语料文件本身是 UTF-8但控制台默认代码页是 GBK 之类的本地编码另一个常见原因是open()没指定编码Python 在某些环境会拿系统默认编码去读文件两边一错位就全乱了。解决读取和输出两侧都显式指定编码。读取时用Path(path).read_text(encodingutf-8)输出时在入口处加一行import sys sys.stdout.reconfigure(encodingutf-8)这行代码在 Python 3.7 之后可用放在 main 函数开头即可。从那以后我凡是处理中文语料第一件事就是固定编码不再依赖环境默认值。5.2 分词把古诗切碎现象做主题匹配时「床前明月光」被切成了「床前/明月光」或者更离谱的碎片导致「月」这个主题词怎么都匹配不到。原因很多通用中文分词库是为现代汉语训练的对古诗的二字结构、三字结构支持很差古诗里大量是名词堆叠没有明确的词边界分词器只能靠猜。解决在诗歌场景里索性不用分词改用整句的子串匹配如果非要抽取主题词就维护一个人工词表。这不是偷懒古诗词处理里字级特征往往比词级特征稳定强行上分词只会引入新的错误源。5.3 内存飙升现象加载完整语料后内存轻松越过 1GB而且首次调用押韵判断时卡了好几秒。原因两个叠加因素一是语料里每行都带着标题、作者等无关字段一起常驻内存二是每一次押韵判断都是一次独立的拼音查询没有缓存重复调用被放大。解决预处理时只保留诗句正文并把韵母结果预先算好落盘import json all_chars {ch for ln in lines for ch in ln} rhyme_cache {ch: rhyme_group(ch) for ch in all_chars} json.dump(rhyme_cache, open(data/rhyme_cache.json, w, encodingutf-8))之后每次启动直接json.load把字典读进内存即可。注意这里是对全字集合预计算而不是对每个句子重复算能省掉绝大多数重复计算。实测下来这个改动能把启动时间从秒级降到毫秒级。5.4 重复输出与上下文丢失现象第一次、第二次接龙都输出同一句诗甚至同一句诗在一条接龙链里出现两次。原因引擎每次 step 都独立排序或采样没有跨轮次去重多轮接龙时未保存历史导致同一候选被反复选中。这是资源包初版最容易被吐槽的问题。解决用一个跨轮次的 used 集合并且在候选不足时做三级放宽先放宽押韵要求再放宽主题约束最后才允许 bigram 兜底生成。放宽顺序讲究优先级——宁可接得不押韵也不要接出重复句重复比不押韵刺眼得多。5.5 押韵误判现象有些句子在现代读音里押韵但读起来感觉别扭反过来古诗里明显押韵的字被判成不押韵。原因这套押韵判断基于现代汉语拼音韵母和古音体系不是一回事。古诗里有些字古今读音差异很大现代读音拆散了不少原本押韵的组合。解决在资源说明里明确标注押韵判断基于现代汉语近似如果读者要严格古音需要另换一套平水韵映射表。demo 场景用现代韵完全够用别在这个点上过度纠结这属于预期内的精度边界不算 bug。6. 收尾技巧用固定随机种子做回归评测改完生成逻辑之后最怕的是「好像变好了又好像变差了」。我给的办法是写一个带固定随机种子的回归脚本把每次改动的结果固定下来做对比相当于给项目留了一颗后悔药。6.1 回归脚本的结构import random def run_regression(engine, seed_pool, rounds3, chain_len4): report [] for r in range(rounds): random.seed(2024 r * 100) seed random.choice(seed_pool) session ChainSession(engine, seed) chain [seed] for _ in range(chain_len): nxt session.step() if not nxt: break chain.append(nxt) report.append({ round: r, seed: seed, steps: len(chain) - 1, unique: len(set(chain)) len(chain), all_rhyme: len(chain) 1 and all( rhyme_group(a[-1]) rhyme_group(b[-1]) for a, b in zip(chain[:-1], chain[1:]) ), }) return report判定标准很直接steps 小于 2 说明候选召回不足语料覆盖或者索引构建有问题unique 为 False 说明去重失效优先检查 used 集合的生命周期all_rhyme 一直为 True 反而要警惕说明语料里同韵部句子太集中接龙多样性差这时候需要调低押韵权重或者扩充语料来源。执行方式是固定的每次改完代码跑一遍这套脚本把 report 和上一版逐字段对一遍再去看具体生成样例。两分钟就能判断改动是正向还是负向而不是靠肉眼一条条读输出碰运气。这个脚本我顺手也接进了项目的单元测试框架里只要生成逻辑有改动就跑一遍回归任何字段异常立刻暴露。从那以后我每次调整打分权重或语料过滤条件都会先跑这套脚本再去看具体生成样例——先有指标再谈感觉。希望帮到你。本文还有配套的精品资源点击获取
