简介这份资源面向希望入门文本挖掘与机器学习实战的Python学习者围绕100份文件的批量分析场景演示如何借助sklearn完成从文本预处理到模型评估的完整流程。内容涉及分词、去停用词、词干提取与词形还原并对比词袋模型与TF-IDF两种特征表示方式配合CountVectorizer、TfidfVectorizer实现文本向量化再延伸到朴素贝叶斯、逻辑回归、SVM等监督分类以及LDA主题建模与train_test_split数据划分、classification_report性能评估等环节。压缩包共127个文件约510KB以txt文本语料、py脚本、md说明文档及license等为主兼顾代码示例与结果分析便于按模块查阅和复现。目前已有761人学习下载适合想系统梳理文本挖掘各环节、积累sklearn工程实践经验的读者参考。1. 用 Python 和 sklearn 啃下 100 份文件文本挖掘到底在挖什么手里攒了 100 份文件——可能是客服工单、产品评论、会议纪要、论文摘要、招标公告——老板或者导师丢过来一句「分析一下」。这时候真正的痛点不是「不会 Python」而是不知道从哪一刀切进去。文本挖掘Text Mining干的事就是把这一堆非结构化的文字变成能统计、能分类、能排序的结构化信号。100 份这个量级很微妙小到用 Excel 硬看也能看完大到人眼已经抓不住词频规律和主题分布正好是脚本自动化开始产生价值的临界点。这篇笔记就围绕「100 份文件 sklearn」这条主线把从读文件、清洗、向量化到建模评估的完整链路拆开讲每一步都给能直接抄的代码和参数说明。适合刚学完 python 入门、装好了 sklearn 想找个真实场景练手的人也适合手头真有一批文档要出结论的从业者。下面所有代码基于常见做法路径和文件名按你自己的实际情况替换即可。2. 从 100 份文件到词频矩阵读取、清洗与向量化的最小闭环文本挖掘的第一道坎从来不是模型而是「文件怎么进来、脏东西怎么出去」。100 份文件如果格式统一比如全是 txt 或全是 csv 的某一列读取是几行代码的事如果混着 docx、pdf、txt就得先统一格式。我一般会先把所有文件转成纯文本再进 pipeline避免在读取环节写一堆分支判断。2.1 批量读取 100 份文件的稳健写法假设文件都在./docs目录下全是 txt编码可能是 utf-8 也可能是 gbk中文文档常见坑。直接open遇到 gbk 会抛 UnicodeDecodeError所以要做编码兜底。import os import glob def load_docs(folder, exts(*.txt,)): docs [] names [] for ext in exts: for path in glob.glob(os.path.join(folder, ext)): raw None # 编码兜底先试 utf-8失败再试 gbk再失败用 errors 忽略 for enc in (utf-8, gbk, utf-8-sig): try: with open(path, r, encodingenc) as f: raw f.read() break except UnicodeDecodeError: continue if raw is None: with open(path, r, encodingutf-8, errorsignore) as f: raw f.read() docs.append(raw) names.append(os.path.basename(path)) return docs, names docs, names load_docs(./docs) print(len(docs), 份文件已读入)这段代码的逻辑glob负责按扩展名收集路径编码循环负责兼容中文环境里最常见的 utf-8 和 gbk 两种编码。utf-8-sig是为了处理带 BOM 头的文件Windows 上导出的 txt 经常带。最后的errorsignore是后悔药——宁可丢几个乱码字符也不要因为一个字节让整个流程崩掉。参数上exts可以传多个模式比如(*.txt, *.md)如果你的文件是 csv就换成读 csv 的某一列逻辑一样。提示读进来先打印len(docs)和前两份文件的前 200 个字符确认没有读空、没有读成二进制乱码这一步花 10 秒能省后面半小时排查。2.2 中文清洗停用词、标点与正则的取舍英文文本挖掘有成熟的 tokenizer中文得自己处理分词。sklearn 本身不做中文分词常见做法是接 jieba。清洗的目标是去掉对分类没贡献的噪声标点、数字、单字、停用词。import re import jieba STOPWORDS set([的, 了, 和, 是, 在, 我, 有, 就, 不, 也, 这]) def clean_and_cut(text): # 去掉非中文字符保留中文数字和英文视场景决定是否保留 text re.sub(r[^\u4e00-\u9fa5], , text) words jieba.lcut(text) # 过滤停用词和单字 words [w for w in words if w not in STOPWORDS and len(w) 1] return .join(words) corpus [clean_and_cut(d) for d in docs] print(corpus[0][:200])re.sub那行的正则[^\u4e00-\u9fa5]表示「非中文全部替换成空格」这是最激进也最省事的做法。如果你的文本里英文术语很重要比如技术文档里的 API 名就把正则改成保留字母数字[^\u4e00-\u9fa5a-zA-Z0-9]。停用词表这里只放了十几个实际项目建议用哈工大停用词表或百度停用词表几百个词起步。len(w) 1过滤单字是因为中文单字歧义太大「的」「了」之外还有很多无意义单字但如果你做的是细粒度情感分析单字有时有用这个阈值要按场景调。2.3 用 TfidfVectorizer 把文本变成矩阵清洗完的corpus是字符串列表sklearn 的TfidfVectorizer直接吃。TF-IDF 的核心思想是一个词在当前文档出现越多、在所有文档出现越少它越有区分度。100 份文件的量级词表控制在几千维比较合适。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features3000, # 词表上限控制维度 min_df2, # 至少出现在 2 份文件里才保留 max_df0.9, # 出现在 90% 以上文件里的词丢掉 ngram_range(1, 2), # 同时考虑单字词和双字词 token_patternr(?u)\b\w\b ) X vectorizer.fit_transform(corpus) print(矩阵形状:, X.shape)参数逐个说max_features3000是硬上限100 份文件如果每份几百字总词表可能上万砍到 3000 能压住维度也保住主要信号。min_df2过滤只出现一次的词这类词多半是噪声或人名。max_df0.9过滤「几乎每份文件都有」的词这类词没有区分度等价于自动停用词。ngram_range(1,2)让「文本 挖掘」这种双词组合也进特征对短文本提升明显代价是维度翻倍所以配合max_features一起用。token_pattern那行是让 sklearn 按空格切已经分好的词因为我们已经用 jieba 切过了。注意fit_transform只能在训练集上调用。如果后面要划分训练测试集必须先在训练集fit再transform测试集否则就是数据泄漏评估结果会虚高。3. 100 份文件能建什么模聚类、分类与主题提取的选型向量化之后X是一个 100 行、几千列的稀疏矩阵。接下来做什么取决于你手里有没有标签。没标签就聚类或做主题提取有标签就分类。100 份文件的量级监督学习要谨慎——样本太少模型容易过拟合交叉验证的方差也大。3.1 无标签场景KMeans 聚类与轮廓系数选 K如果 100 份文件没有人工标注的类别最直接的探索是聚类。KMeans 在 TF-IDF 矩阵上跑能把内容相近的文件分到一组。难点是 K 选多少常见做法是跑多个 K 看轮廓系数。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score best_k, best_score 2, -1 for k in range(2, 11): km KMeans(n_clustersk, random_state42, n_init10) labels km.fit_predict(X) score silhouette_score(X, labels) print(fK{k}, 轮廓系数{score:.3f}) if score best_score: best_k, best_score k, score print(最佳 K:, best_k)n_init10表示用 10 组不同初始质心各跑一次取最优KMeans 对初始值敏感这个参数能显著降低「跑两次结果不一样」的玄学。random_state42固定随机种子保证可复现。轮廓系数范围是 -1 到 1越接近 1 说明簇内越紧、簇间越远。100 份文件的场景轮廓系数能到 0.1 以上就算有结构别指望 0.5文本数据高维稀疏系数普遍偏低。选完 K 之后把每个簇的 top 关键词打出来才知道这簇在讲什么terms vectorizer.get_feature_names_out() km KMeans(n_clustersbest_k, random_state42, n_init10) labels km.fit_predict(X) for i in range(best_k): center km.cluster_centers_[i] top_idx center.argsort()[::-1][:10] print(f簇 {i}:, [terms[j] for j in top_idx])3.2 有标签场景朴素贝叶斯为什么是文本分类的默认起点如果 100 份文件有人工标好的类别比如正面/负面、技术/市场就上分类。文本分类的经典 baseline 是朴素贝叶斯热搜里「头歌利用sklearn构建朴素贝叶斯模型」说的就是这个。它假设特征条件独立虽然这个假设在文本里明显不成立词与词有关联但在高维稀疏的 TF-IDF 上表现意外地稳而且训练快、参数少。from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report # y 是你的标签列表长度和 docs 一致 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) clf MultinomialNB(alpha1.0) clf.fit(X_train, y_train) pred clf.predict(X_test) print(classification_report(y_test, pred))alpha1.0是拉普拉斯平滑参数防止某个词在训练集没出现导致概率为 0。文本分类里 alpha 在 0.1 到 1 之间调小数据集建议从 1.0 起步。stratifyy保证训练测试集里各类别比例一致100 份文件如果类别不均衡这个参数很关键否则测试集可能全是多数类。test_size0.3意味着 30 份测试、70 份训练样本确实少所以classification_report要看的是 macro avg 和 weighted avg别只盯 accuracy。提示100 份文件做监督学习交叉验证比单次划分更可信。把train_test_split换成cross_val_score(clf, X, y, cv5)看 5 折的均值和方差方差大说明模型不稳。3.3 主题提取LDA 与 NMF 在 100 份文件上的差异聚类给的是硬分组主题提取给的是「每份文件由哪些主题按比例混合」。sklearn 里两个常用工具LatentDirichletAllocationLDA和NMF。LDA 是概率生成模型NMF 是非负矩阵分解后者在短文本上往往更干净。from sklearn.decomposition import NMF nmf NMF(n_components5, random_state42, initnndsvd, max_iter500) W nmf.fit_transform(X) # 文件-主题矩阵 H nmf.components_ # 主题-词矩阵 terms vectorizer.get_feature_names_out() for i, topic in enumerate(H): top topic.argsort()[::-1][:8] print(f主题 {i}:, [terms[j] for j in top])n_components5是主题数100 份文件一般 3 到 8 个主题够用太多主题每个都很碎。initnndsvd是 NMF 的初始化方式比随机初始化稳定能减少「每次跑结果不同」的问题。max_iter500是迭代上限不够会警告不收敛可以加到 1000。W的每一行是一份文件在 5 个主题上的权重H的每一行是一个主题的词分布。LDA 的用法类似但要多调learning_method和perp100 份文件这个量级NMF 通常更快出可解释结果。4. 避坑与排查100 份文件跑 sklearn 最容易翻车的 5 个地方这一章全是血泪经验。文本挖掘的坑大多不在模型而在数据进出和参数默认值上。下面 5 条按「现象 → 原因 → 解决」写遇到对应症状直接对号入座。4.1 现象准确率 0.99换一批数据掉到 0.5原因数据泄漏。最常见的是在划分训练测试集之前就fit_transform了整个语料TF-IDF 的 IDF 权重里混进了测试集的词频信息。另一个隐蔽来源是先对全量数据做了特征选择或归一化。解决严格按train_test_split切分后vectorizer.fit(X_train)只学训练集词表和 IDF再transform(X_test)。用Pipeline把向量化和分类器串起来交叉验证时 sklearn 会自动在每折内部重新 fit杜绝泄漏from sklearn.pipeline import Pipeline pipe Pipeline([ (tfidf, TfidfVectorizer(max_features3000, min_df2)), (clf, MultinomialNB(alpha1.0)) ]) # 注意Pipeline 里 TfidfVectorizer 吃的是原始字符串不是切好的词 # 所以中文场景要么在 Pipeline 前切好词要么自定义 tokenizer4.2 现象报错empty vocabulary或矩阵全是 0原因min_df设太大或者清洗时把词全过滤没了。100 份文件如果每份很短min_df2可能就把大部分词砍掉如果停用词表误伤也会导致词表为空。解决先把min_df1、max_df1.0跑一遍打印X.shape和len(vectorizer.vocabulary_)确认词表非空再逐步收紧。清洗环节单独打印一份处理后的文本肉眼确认还有正常词汇。4.3 现象中文分词后 TF-IDF 效果很差关键词全是无意义组合原因jieba 默认模式会把长词切碎或把不该合的合起来且没有加载自定义词典。领域术语比如产品名、缩写被切散后TF-IDF 抓不到。解决用jieba.load_userdict(dict.txt)加载领域词典每行「词 词频 词性」。同时试jieba.lcut(text, cut_allFalse)精确模式和搜索引擎模式cut_for_search后者对长词会多切出子词召回高但噪声也多。100 份文件的场景先加 20 到 50 个领域词进词典效果立竿见影。4.4 现象KMeans 每次跑出来的簇不一样原因KMeans 对初始质心敏感默认n_init在不同 sklearn 版本行为不同老版本是 10新版本改成auto后可能只跑一次。解决显式设n_init10或更高固定random_state。如果数据维度高先做TruncatedSVD降维再聚类既提速又稳from sklearn.decomposition import TruncatedSVD svd TruncatedSVD(n_components50, random_state42) X_reduced svd.fit_transform(X) # 再对 X_reduced 跑 KMeansn_components50是经验值100 份文件降到 50 维通常能保住主要方差svd.explained_variance_ratio_.sum()可以看保留了多少信息一般 0.3 以上就够聚类用。4.5 现象分类报告里某个类别 F1 为 0原因类别极度不均衡少数类样本太少模型直接全预测成多数类。100 份文件如果某类只有 3 份训练集里可能只剩 2 份模型学不到。解决MultinomialNB加class_prior手动设先验或用class_weightbalanced逻辑回归、SVM 支持朴素贝叶斯不直接支持可换ComplementNB。更根本的是别硬做分类样本太少时退回聚类或人工规则。评估指标从 accuracy 换成 macro F1别被多数类的高准确率骗了。5. 让 100 份文件的分析结果站得住验证、调参与交付技巧模型跑通只是开始真正让结论可信的是验证环节。100 份文件的量级我一般会做三件事交叉验证看稳定性、混淆矩阵看错在哪、人工抽检看模型是不是在「作弊」。5.1 用交叉验证和混淆矩阵替代单次评估单次train_test_split在 100 份文件上波动很大换个随机种子结果可能差 10 个点。用cross_val_score跑 5 折看均值和标准差from sklearn.model_selection import cross_val_score from sklearn.metrics import confusion_matrix scores cross_val_score(pipe, corpus, y, cv5, scoringf1_macro) print(F1 均值 %.3f, 标准差 %.3f % (scores.mean(), scores.std())) # 混淆矩阵看具体错在哪 from sklearn.model_selection import cross_val_predict pred_all cross_val_predict(pipe, corpus, y, cv5) print(confusion_matrix(y, pred_all))scoringf1_macro对不均衡类别更公平。标准差超过 0.1 说明模型不稳要么加数据要么简化模型。混淆矩阵能看出是哪两类在互相混如果两个类别本来就语义接近比如「咨询」和「投诉」错分是正常的别硬调参去拟合噪声。5.2 网格搜索调参100 份文件该搜什么、不该搜什么样本少的时候网格搜索容易过拟合验证集。我一般只搜 2 到 3 个关键参数用GridSearchCV配合cv5from sklearn.model_selection import GridSearchCV param_grid { tfidf__max_features: [1000, 3000, 5000], tfidf__min_df: [1, 2, 3], clf__alpha: [0.1, 0.5, 1.0] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1_macro, n_jobs-1) grid.fit(corpus, y) print(最佳参数:, grid.best_params_) print(最佳得分: %.3f % grid.best_score_)注意pipe里的TfidfVectorizer吃原始字符串所以fit传的是corpus而不是X。n_jobs-1用满 CPU。参数组合 3×3×327 组每组 5 折100 份文件跑下来几分钟。如果最佳得分比默认参数高不到 0.02我一般直接用默认省得引入不必要的复杂度。5.3 结果交付把主题词和代表性文件绑在一起看最后交付给别人的不是矩阵是「这 100 份文件分成了几类、每类讲什么、代表文件是哪几份」。把聚类或主题结果和文件名绑起来import numpy as np # 以 NMF 为例W 是文件-主题矩阵 for i in range(W.shape[1]): top_docs W[:, i].argsort()[::-1][:3] print(f主题 {i} 代表文件:) for idx in top_docs: print( , names[idx], 权重 %.3f % W[idx, i])这样每个主题下面挂着 3 份最相关的文件别人一眼能判断主题提取准不准。如果某个主题的代表文件风马牛不相及说明主题数设多了或者清洗没到位回去调n_components或加停用词。5.4 一个我常犯的错过早追求模型复杂度刚做文本挖掘那会儿我总想上 SVM、上深度学习觉得朴素贝叶斯太简单。结果 100 份文件跑 BERT 微调显存不够、过拟合严重F1 还不如 TF-IDF 加朴素贝叶斯。后来养成习惯先用最简单的 baseline 跑出数字再决定要不要加复杂度。100 份文件这个量级TF-IDF 加线性模型几乎总是性价比最高的起点把清洗和分词做扎实比换模型提升大得多。希望帮到你。本文还有配套的精品资源点击获取
简介这份资源面向希望入门文本挖掘与机器学习实战的Python学习者围绕100份文件的批量分析场景演示如何借助sklearn完成从文本预处理到模型评估的完整流程。内容涉及分词、去停用词、词干提取与词形还原并对比词袋模型与TF-IDF两种特征表示方式配合CountVectorizer、TfidfVectorizer实现文本向量化再延伸到朴素贝叶斯、逻辑回归、SVM等监督分类以及LDA主题建模与train_test_split数据划分、classification_report性能评估等环节。压缩包共127个文件约510KB以txt文本语料、py脚本、md说明文档及license等为主兼顾代码示例与结果分析便于按模块查阅和复现。目前已有761人学习下载适合想系统梳理文本挖掘各环节、积累sklearn工程实践经验的读者参考。1. 用 Python 和 sklearn 啃下 100 份文件文本挖掘到底在挖什么手里攒了 100 份文件——可能是客服工单、产品评论、会议纪要、论文摘要、招标公告——老板或者导师丢过来一句「分析一下」。这时候真正的痛点不是「不会 Python」而是不知道从哪一刀切进去。文本挖掘Text Mining干的事就是把这一堆非结构化的文字变成能统计、能分类、能排序的结构化信号。100 份这个量级很微妙小到用 Excel 硬看也能看完大到人眼已经抓不住词频规律和主题分布正好是脚本自动化开始产生价值的临界点。这篇笔记就围绕「100 份文件 sklearn」这条主线把从读文件、清洗、向量化到建模评估的完整链路拆开讲每一步都给能直接抄的代码和参数说明。适合刚学完 python 入门、装好了 sklearn 想找个真实场景练手的人也适合手头真有一批文档要出结论的从业者。下面所有代码基于常见做法路径和文件名按你自己的实际情况替换即可。2. 从 100 份文件到词频矩阵读取、清洗与向量化的最小闭环文本挖掘的第一道坎从来不是模型而是「文件怎么进来、脏东西怎么出去」。100 份文件如果格式统一比如全是 txt 或全是 csv 的某一列读取是几行代码的事如果混着 docx、pdf、txt就得先统一格式。我一般会先把所有文件转成纯文本再进 pipeline避免在读取环节写一堆分支判断。2.1 批量读取 100 份文件的稳健写法假设文件都在./docs目录下全是 txt编码可能是 utf-8 也可能是 gbk中文文档常见坑。直接open遇到 gbk 会抛 UnicodeDecodeError所以要做编码兜底。import os import glob def load_docs(folder, exts(*.txt,)): docs [] names [] for ext in exts: for path in glob.glob(os.path.join(folder, ext)): raw None # 编码兜底先试 utf-8失败再试 gbk再失败用 errors 忽略 for enc in (utf-8, gbk, utf-8-sig): try: with open(path, r, encodingenc) as f: raw f.read() break except UnicodeDecodeError: continue if raw is None: with open(path, r, encodingutf-8, errorsignore) as f: raw f.read() docs.append(raw) names.append(os.path.basename(path)) return docs, names docs, names load_docs(./docs) print(len(docs), 份文件已读入)这段代码的逻辑glob负责按扩展名收集路径编码循环负责兼容中文环境里最常见的 utf-8 和 gbk 两种编码。utf-8-sig是为了处理带 BOM 头的文件Windows 上导出的 txt 经常带。最后的errorsignore是后悔药——宁可丢几个乱码字符也不要因为一个字节让整个流程崩掉。参数上exts可以传多个模式比如(*.txt, *.md)如果你的文件是 csv就换成读 csv 的某一列逻辑一样。提示读进来先打印len(docs)和前两份文件的前 200 个字符确认没有读空、没有读成二进制乱码这一步花 10 秒能省后面半小时排查。2.2 中文清洗停用词、标点与正则的取舍英文文本挖掘有成熟的 tokenizer中文得自己处理分词。sklearn 本身不做中文分词常见做法是接 jieba。清洗的目标是去掉对分类没贡献的噪声标点、数字、单字、停用词。import re import jieba STOPWORDS set([的, 了, 和, 是, 在, 我, 有, 就, 不, 也, 这]) def clean_and_cut(text): # 去掉非中文字符保留中文数字和英文视场景决定是否保留 text re.sub(r[^\u4e00-\u9fa5], , text) words jieba.lcut(text) # 过滤停用词和单字 words [w for w in words if w not in STOPWORDS and len(w) 1] return .join(words) corpus [clean_and_cut(d) for d in docs] print(corpus[0][:200])re.sub那行的正则[^\u4e00-\u9fa5]表示「非中文全部替换成空格」这是最激进也最省事的做法。如果你的文本里英文术语很重要比如技术文档里的 API 名就把正则改成保留字母数字[^\u4e00-\u9fa5a-zA-Z0-9]。停用词表这里只放了十几个实际项目建议用哈工大停用词表或百度停用词表几百个词起步。len(w) 1过滤单字是因为中文单字歧义太大「的」「了」之外还有很多无意义单字但如果你做的是细粒度情感分析单字有时有用这个阈值要按场景调。2.3 用 TfidfVectorizer 把文本变成矩阵清洗完的corpus是字符串列表sklearn 的TfidfVectorizer直接吃。TF-IDF 的核心思想是一个词在当前文档出现越多、在所有文档出现越少它越有区分度。100 份文件的量级词表控制在几千维比较合适。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features3000, # 词表上限控制维度 min_df2, # 至少出现在 2 份文件里才保留 max_df0.9, # 出现在 90% 以上文件里的词丢掉 ngram_range(1, 2), # 同时考虑单字词和双字词 token_patternr(?u)\b\w\b ) X vectorizer.fit_transform(corpus) print(矩阵形状:, X.shape)参数逐个说max_features3000是硬上限100 份文件如果每份几百字总词表可能上万砍到 3000 能压住维度也保住主要信号。min_df2过滤只出现一次的词这类词多半是噪声或人名。max_df0.9过滤「几乎每份文件都有」的词这类词没有区分度等价于自动停用词。ngram_range(1,2)让「文本 挖掘」这种双词组合也进特征对短文本提升明显代价是维度翻倍所以配合max_features一起用。token_pattern那行是让 sklearn 按空格切已经分好的词因为我们已经用 jieba 切过了。注意fit_transform只能在训练集上调用。如果后面要划分训练测试集必须先在训练集fit再transform测试集否则就是数据泄漏评估结果会虚高。3. 100 份文件能建什么模聚类、分类与主题提取的选型向量化之后X是一个 100 行、几千列的稀疏矩阵。接下来做什么取决于你手里有没有标签。没标签就聚类或做主题提取有标签就分类。100 份文件的量级监督学习要谨慎——样本太少模型容易过拟合交叉验证的方差也大。3.1 无标签场景KMeans 聚类与轮廓系数选 K如果 100 份文件没有人工标注的类别最直接的探索是聚类。KMeans 在 TF-IDF 矩阵上跑能把内容相近的文件分到一组。难点是 K 选多少常见做法是跑多个 K 看轮廓系数。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score best_k, best_score 2, -1 for k in range(2, 11): km KMeans(n_clustersk, random_state42, n_init10) labels km.fit_predict(X) score silhouette_score(X, labels) print(fK{k}, 轮廓系数{score:.3f}) if score best_score: best_k, best_score k, score print(最佳 K:, best_k)n_init10表示用 10 组不同初始质心各跑一次取最优KMeans 对初始值敏感这个参数能显著降低「跑两次结果不一样」的玄学。random_state42固定随机种子保证可复现。轮廓系数范围是 -1 到 1越接近 1 说明簇内越紧、簇间越远。100 份文件的场景轮廓系数能到 0.1 以上就算有结构别指望 0.5文本数据高维稀疏系数普遍偏低。选完 K 之后把每个簇的 top 关键词打出来才知道这簇在讲什么terms vectorizer.get_feature_names_out() km KMeans(n_clustersbest_k, random_state42, n_init10) labels km.fit_predict(X) for i in range(best_k): center km.cluster_centers_[i] top_idx center.argsort()[::-1][:10] print(f簇 {i}:, [terms[j] for j in top_idx])3.2 有标签场景朴素贝叶斯为什么是文本分类的默认起点如果 100 份文件有人工标好的类别比如正面/负面、技术/市场就上分类。文本分类的经典 baseline 是朴素贝叶斯热搜里「头歌利用sklearn构建朴素贝叶斯模型」说的就是这个。它假设特征条件独立虽然这个假设在文本里明显不成立词与词有关联但在高维稀疏的 TF-IDF 上表现意外地稳而且训练快、参数少。from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report # y 是你的标签列表长度和 docs 一致 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) clf MultinomialNB(alpha1.0) clf.fit(X_train, y_train) pred clf.predict(X_test) print(classification_report(y_test, pred))alpha1.0是拉普拉斯平滑参数防止某个词在训练集没出现导致概率为 0。文本分类里 alpha 在 0.1 到 1 之间调小数据集建议从 1.0 起步。stratifyy保证训练测试集里各类别比例一致100 份文件如果类别不均衡这个参数很关键否则测试集可能全是多数类。test_size0.3意味着 30 份测试、70 份训练样本确实少所以classification_report要看的是 macro avg 和 weighted avg别只盯 accuracy。提示100 份文件做监督学习交叉验证比单次划分更可信。把train_test_split换成cross_val_score(clf, X, y, cv5)看 5 折的均值和方差方差大说明模型不稳。3.3 主题提取LDA 与 NMF 在 100 份文件上的差异聚类给的是硬分组主题提取给的是「每份文件由哪些主题按比例混合」。sklearn 里两个常用工具LatentDirichletAllocationLDA和NMF。LDA 是概率生成模型NMF 是非负矩阵分解后者在短文本上往往更干净。from sklearn.decomposition import NMF nmf NMF(n_components5, random_state42, initnndsvd, max_iter500) W nmf.fit_transform(X) # 文件-主题矩阵 H nmf.components_ # 主题-词矩阵 terms vectorizer.get_feature_names_out() for i, topic in enumerate(H): top topic.argsort()[::-1][:8] print(f主题 {i}:, [terms[j] for j in top])n_components5是主题数100 份文件一般 3 到 8 个主题够用太多主题每个都很碎。initnndsvd是 NMF 的初始化方式比随机初始化稳定能减少「每次跑结果不同」的问题。max_iter500是迭代上限不够会警告不收敛可以加到 1000。W的每一行是一份文件在 5 个主题上的权重H的每一行是一个主题的词分布。LDA 的用法类似但要多调learning_method和perp100 份文件这个量级NMF 通常更快出可解释结果。4. 避坑与排查100 份文件跑 sklearn 最容易翻车的 5 个地方这一章全是血泪经验。文本挖掘的坑大多不在模型而在数据进出和参数默认值上。下面 5 条按「现象 → 原因 → 解决」写遇到对应症状直接对号入座。4.1 现象准确率 0.99换一批数据掉到 0.5原因数据泄漏。最常见的是在划分训练测试集之前就fit_transform了整个语料TF-IDF 的 IDF 权重里混进了测试集的词频信息。另一个隐蔽来源是先对全量数据做了特征选择或归一化。解决严格按train_test_split切分后vectorizer.fit(X_train)只学训练集词表和 IDF再transform(X_test)。用Pipeline把向量化和分类器串起来交叉验证时 sklearn 会自动在每折内部重新 fit杜绝泄漏from sklearn.pipeline import Pipeline pipe Pipeline([ (tfidf, TfidfVectorizer(max_features3000, min_df2)), (clf, MultinomialNB(alpha1.0)) ]) # 注意Pipeline 里 TfidfVectorizer 吃的是原始字符串不是切好的词 # 所以中文场景要么在 Pipeline 前切好词要么自定义 tokenizer4.2 现象报错empty vocabulary或矩阵全是 0原因min_df设太大或者清洗时把词全过滤没了。100 份文件如果每份很短min_df2可能就把大部分词砍掉如果停用词表误伤也会导致词表为空。解决先把min_df1、max_df1.0跑一遍打印X.shape和len(vectorizer.vocabulary_)确认词表非空再逐步收紧。清洗环节单独打印一份处理后的文本肉眼确认还有正常词汇。4.3 现象中文分词后 TF-IDF 效果很差关键词全是无意义组合原因jieba 默认模式会把长词切碎或把不该合的合起来且没有加载自定义词典。领域术语比如产品名、缩写被切散后TF-IDF 抓不到。解决用jieba.load_userdict(dict.txt)加载领域词典每行「词 词频 词性」。同时试jieba.lcut(text, cut_allFalse)精确模式和搜索引擎模式cut_for_search后者对长词会多切出子词召回高但噪声也多。100 份文件的场景先加 20 到 50 个领域词进词典效果立竿见影。4.4 现象KMeans 每次跑出来的簇不一样原因KMeans 对初始质心敏感默认n_init在不同 sklearn 版本行为不同老版本是 10新版本改成auto后可能只跑一次。解决显式设n_init10或更高固定random_state。如果数据维度高先做TruncatedSVD降维再聚类既提速又稳from sklearn.decomposition import TruncatedSVD svd TruncatedSVD(n_components50, random_state42) X_reduced svd.fit_transform(X) # 再对 X_reduced 跑 KMeansn_components50是经验值100 份文件降到 50 维通常能保住主要方差svd.explained_variance_ratio_.sum()可以看保留了多少信息一般 0.3 以上就够聚类用。4.5 现象分类报告里某个类别 F1 为 0原因类别极度不均衡少数类样本太少模型直接全预测成多数类。100 份文件如果某类只有 3 份训练集里可能只剩 2 份模型学不到。解决MultinomialNB加class_prior手动设先验或用class_weightbalanced逻辑回归、SVM 支持朴素贝叶斯不直接支持可换ComplementNB。更根本的是别硬做分类样本太少时退回聚类或人工规则。评估指标从 accuracy 换成 macro F1别被多数类的高准确率骗了。5. 让 100 份文件的分析结果站得住验证、调参与交付技巧模型跑通只是开始真正让结论可信的是验证环节。100 份文件的量级我一般会做三件事交叉验证看稳定性、混淆矩阵看错在哪、人工抽检看模型是不是在「作弊」。5.1 用交叉验证和混淆矩阵替代单次评估单次train_test_split在 100 份文件上波动很大换个随机种子结果可能差 10 个点。用cross_val_score跑 5 折看均值和标准差from sklearn.model_selection import cross_val_score from sklearn.metrics import confusion_matrix scores cross_val_score(pipe, corpus, y, cv5, scoringf1_macro) print(F1 均值 %.3f, 标准差 %.3f % (scores.mean(), scores.std())) # 混淆矩阵看具体错在哪 from sklearn.model_selection import cross_val_predict pred_all cross_val_predict(pipe, corpus, y, cv5) print(confusion_matrix(y, pred_all))scoringf1_macro对不均衡类别更公平。标准差超过 0.1 说明模型不稳要么加数据要么简化模型。混淆矩阵能看出是哪两类在互相混如果两个类别本来就语义接近比如「咨询」和「投诉」错分是正常的别硬调参去拟合噪声。5.2 网格搜索调参100 份文件该搜什么、不该搜什么样本少的时候网格搜索容易过拟合验证集。我一般只搜 2 到 3 个关键参数用GridSearchCV配合cv5from sklearn.model_selection import GridSearchCV param_grid { tfidf__max_features: [1000, 3000, 5000], tfidf__min_df: [1, 2, 3], clf__alpha: [0.1, 0.5, 1.0] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1_macro, n_jobs-1) grid.fit(corpus, y) print(最佳参数:, grid.best_params_) print(最佳得分: %.3f % grid.best_score_)注意pipe里的TfidfVectorizer吃原始字符串所以fit传的是corpus而不是X。n_jobs-1用满 CPU。参数组合 3×3×327 组每组 5 折100 份文件跑下来几分钟。如果最佳得分比默认参数高不到 0.02我一般直接用默认省得引入不必要的复杂度。5.3 结果交付把主题词和代表性文件绑在一起看最后交付给别人的不是矩阵是「这 100 份文件分成了几类、每类讲什么、代表文件是哪几份」。把聚类或主题结果和文件名绑起来import numpy as np # 以 NMF 为例W 是文件-主题矩阵 for i in range(W.shape[1]): top_docs W[:, i].argsort()[::-1][:3] print(f主题 {i} 代表文件:) for idx in top_docs: print( , names[idx], 权重 %.3f % W[idx, i])这样每个主题下面挂着 3 份最相关的文件别人一眼能判断主题提取准不准。如果某个主题的代表文件风马牛不相及说明主题数设多了或者清洗没到位回去调n_components或加停用词。5.4 一个我常犯的错过早追求模型复杂度刚做文本挖掘那会儿我总想上 SVM、上深度学习觉得朴素贝叶斯太简单。结果 100 份文件跑 BERT 微调显存不够、过拟合严重F1 还不如 TF-IDF 加朴素贝叶斯。后来养成习惯先用最简单的 baseline 跑出数字再决定要不要加复杂度。100 份文件这个量级TF-IDF 加线性模型几乎总是性价比最高的起点把清洗和分词做扎实比换模型提升大得多。希望帮到你。本文还有配套的精品资源点击获取
