简介基于朴素贝叶斯算法实现新闻分类的Python项目源码用于解决中文新闻文本自动归类问题主要面向计算机相关专业的期末大作业、课程设计及需要算法实战的初学者。项目覆盖数据清洗、词频统计、模型训练与分类预测全流程源码经本地编译调试可稳定运行。压缩包共2000个文件其中1996个txt为分词与词频数据3个Python脚本负责URL解析、训练与分类核心逻辑另有1份README说明目录结构与运行方式整体13.33MB便于快速上手。目前已有152人学习浏览项目系导师指导下的高分作品评审98分难度适中适合作为朴素贝叶斯文本分类任务的参考实现。下载后可对照代码理解先验概率、条件概率计算及平滑处理等细节也可复用其数据格式扩展其他语料实验。1. 新闻分类为什么绕不开朴素贝叶斯先看它解决了什么做舆情系统时被规则分类折磨过的人应该能理解这种场景正则表达式维护了半年新增一个“某公司宣布…”的句式又要改一轮规则。换成朴素贝叶斯之后新闻分类这个项目才真正从“人工写规则”变成“喂数据学概率”。朴素贝叶斯解决的不是花哨的语义理解而是给你一个低成本、可解释、能上线的文本分类基线。这篇笔记要讲的是“基于朴素贝叶斯算法解决新闻分类问题”这类项目源码背后的完整落地路径为什么朴素贝叶斯能扛住中文新闻这种高维稀疏特征怎么从原始语料一步步得到可复现的模型alpha、min_df、先验这些参数该怎么设以及项目上线前后最容易踩的编码、词表、样本不均衡的坑。新手按第 3 章的代码可以跑通第一个模型熟手可以直接看第 5 章和第 6 章的排查与进阶。2. 朴素贝叶斯解决新闻分类的原理三个必须吃透的假设与特征选择2.1 贝叶斯公式在新闻分类里的真实含义新闻分类的目标是给一篇文档 x 找出最可能的类别 y。朴素贝叶斯建模的对象是后验概率 P(y|x)公式是 P(y|x)P(x|y)P(y)/P(x)。在实际比较类别时分母 P(x) 对所有类别都一样所以只比较分子。P(y) 是类别先验P(x|y) 是文档在该类别下的似然。这两个量在训练集里都能用频率统计出来这是朴素贝叶斯区别于深度学习模型最根本的一点不靠隐层学习表示而是直接数数。关键是 P(x|y) 怎么算。如果 x 是整篇文档的词序列那维度就是所有词组合估计需要天文数字的样本。朴素贝叶斯做了条件独立假设给定类别 y 后每个词的出现概率互不影响。于是 P(x|y)P(w1|y)P(w2|y)…P(wn|y)。这在中文新闻里显然是假的“央行”和“降息”不会独立但分类任务只需要后验概率的相对大小独立假设产生的偏差只要不改变排序结果就仍然正确。这也是“朴素”二字的由来。用例子方便理解一篇正文里出现“射门”一次、“篮板”一次如果模型算出 P(篮球|射门)0.03P(理财|射门)0.001那么后验概率会被这个词拉开几个数量级类别倾向就很明显。多个词的投票累加后真实类别的得分通常稳定领先。所以朴素贝叶斯特别适合新闻这种有明显主题词的文本坑主要出在特征太稀疏和先验失衡。2.2 多项式朴素贝叶斯为什么是新闻分类的默认选型scikit-learn 里有 GaussianNB、BernoulliNB、MultinomialNB 三种。GaussianNB 假设特征服从正态分布适合处理连续数值比如年龄、收入、传感器值BernoulliNB 把特征看成二值只记录词出现与否适合短文本MultinomialNB 假设特征服从多项式分布输入是词频数或 TF-IDF 值这正好匹配 CountVectorizer 的输出。新闻分类的特征是稀疏词频向量所以 MultinomialNB 是默认选择很多教学里常说的黑马朴素贝叶斯案例也是这个组合核心原因不是因为它最准确而是因为它在这类输入上数值最稳定。MultinomialNB 有一个关键参数 alpha也就是拉普拉斯平滑系数。默认 alpha1防止某些未登录词的概率算成零。alpha 越小模型越贴近训练集alpha 越大概率越向均匀分布收缩。在新闻分类项目里见过不少人对 alpha 完全不调直接用默认值结果模型对生僻词的响应过于剧烈线上乱分。后面 3.3 会给出调参代码。2.3 特征工程分词、停用词与 TF-IDF 权重中文分词是绕不开的一步。jieba 的最常用模式是jieba.lcut返回一个词列表。分词之后要过滤停用词处理新闻格式词比如“记者”“编辑”“来源”“点击”这类词在各类别都出现对分类没有区分度留着只会增加特征维度。停用词表可以用开源清单然后自己追加领域词。要不要上 TF-IDF我一般先跑 CountVectorizer MultinomialNB 的基线再用 TfidfVectorizer 对比。在新闻分类任务里停用词过滤做干净后TF-IDF 相对词频的提升通常不到一个点但 TfidfVectorizer 默认 L2 归一化之后输出非负能和 MultinomialNB 配合。如果使用 TfidfVectorizer可以把 sublinear_tf 参数打开使词频用 1log(tf) 表示减轻高频词的压制。这里有一个容易踩的细节CountVectorizer 和 TfidfVectorizer 都要求输入词已经切好我习惯用 tokenizer 参数直接把 jieba 接进 pipeline而不是先分词再拼空格后者会丢失词边界并且让词表出现莫名其妙的空格痕迹。特征维度的控制也很重要。min_df2 表示至少在 2 篇文档中出现才进入词表max_df0.8 表示在超过 80% 文档中出现的词视为无区分度并丢弃。新闻语料里“今天”“最新”这类高频词会被 max_df 过滤这对分类是好事。如果语料很小min_df 可以设为 1但新闻分类语料一般有几万条min_df2 能显著减少噪声。标题和正文的权重问题也常在新闻分类项目里出现。新闻的标题信息密度远高于正文一个简单的做法是在拼接时把标题重复两次再和正文一起送入模型相当于给标题词更高计数。朴素贝叶斯对特征计数敏感这种重复操作在数学上等价于给标题词加大权重能带来实际提升。不过要注意如果标题很短重复两次导致的计数变化不大反而会拉长序列常见做法是先跑基线再决定要不要做标题加权。2.4 朴素贝叶斯与深度分类模型的取舍什么时候别选它朴素贝叶斯不是万能。新闻分类如果涉及复杂语义比如需要理解“虽然表现不佳但市场份额仍在增长”这样带转折的句子朴素贝叶斯只看词袋无法真正建模否定和转折关系。深度模型如 TextCNN、BERT 更适合这种任务但它们需要更多标注数据、GPU、更长的调参时间。我的经验是项目刚启动、需要快速交付时朴素贝叶斯作为基线如果业务要求高精度先用朴素贝叶斯产出数据清洗和评估代码再切换到深层模型这比一上来就上 BERT 稳妥。这个取舍还体现在可解释性上。新闻分类项目会经常被业务方问“为什么这条分到了财经”朴素贝叶斯可以直接输出每个词的贡献也就是各个词的对数似然和先验的叠加。深度模型虽然可以靠 SHAP 等工具解释但解释成本高。对舆情审核这种需要给理由的业务朴素贝叶斯反而比深度模型更受欢迎。3. 从零搭一个新闻分类项目数据准备与最小可用代码3.1 数据怎么组织标签和正文两列就够了常见做法是 CSV。THUCNews、搜狗新闻这类公开数据集通常也提供类别和正文字段导入后先看分布。我一般会在这一步做一个数据质量检查脚本代码import pandas as pd df pd.read_csv(news_train.csv, encodingutf-8) print(df.shape) print(df[label].value_counts(normalizeTrue)) print(df[content].str.len().describe()) df.drop_duplicates(subset[content], inplaceTrue) df df[df[content].str.len() 10] df df.dropna(subset[content, label]) print(df[label].value_counts())逻辑说明先看类别分布normalizeTrue 能直接显示比例再统计正文长度如果最短长度只有几个字符大概率是标题或残缺页。去重是必须的爬虫数据经常有完全一样的拼接。删除长度太短的样本避免模型学到无意义标签。最后再看一次分布如果某一类占比超过 70%要决定是下采样还是用后面提到的先验控制。3.2 用 jieba 分词和 Pipeline 跑通最小模型模型代码之前先加载停用词stop_words set() with open(stopwords.txt, encodingutf-8) as f: for line in f: w line.strip() if w: stop_words.add(w)注意停用词文件一行一个词编码用 utf-8如果文件是 GBK读取时会报 UnicodeDecodeError这就是后面避坑章节要讲的编码问题。然后定义分词器和 Pipelineimport jieba def chinese_tokenizer(text): return [w for w in jieba.lcut(text) if w.strip() and len(w) 1]这里用len(w) 1过滤单字。新闻分类里单字多数是“的”“了”“在”停用词未必覆盖干净直接在分词器里过滤比在停用词表里维护更高效。from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline from sklearn.model_selection import train_test_split pipeline Pipeline([ (vectorize, CountVectorizer(tokenizerchinese_tokenizer, stop_wordsstop_words, min_df2, max_df0.8)), (clf, MultinomialNB(alpha0.3)), ]) X_train, X_test, y_train, y_test train_test_split( df[content], df[label], test_size0.2, random_state42, stratifydf[label] ) pipeline.fit(X_train, y_train) print(accuracy:, pipeline.score(X_test, y_test))代码逻辑CountVectorizer的 tokenizer 参数决定如何把一段文本拆成词。stop_words在向量器内部做集合过滤。min_df和max_df控制词表规模。MultinomialNB接收词频矩阵alpha0.3 是初选值。Pipeline 的价值在于 fit 过程中同时训练向量器和分类器预测时也自动使用同一个词表不会出现词表不一致的问题。这是这类新闻分类项目源码里最核心的一段后续所有调优都在这个 Pipeline 上叠加。3.3 参数设多少alpha、fit_prior 与 class_prior 的选择调 alpha 我一般用网格搜索而不是手动试一两个值from sklearn.model_selection import GridSearchCV param_grid { vectorize__min_df: [1, 2, 3], vectorize__max_df: [0.6, 0.8, 1.0], clf__alpha: [0.01, 0.1, 0.3, 1.0], } gs GridSearchCV(pipeline, param_grid, cv3, scoringf1_macro, n_jobs-1) gs.fit(X_train, y_train) print(gs.best_params_)这里必须注意参数名写法Pipeline 里的步名和参数名之间用双下划线__连接比如vectorize__min_df和clf__alpha。如果少写一个下划线sklearn 会直接报 Invalid parameter。scoringf1_macro是为了在多分类且类别不均衡时不把准确率当作唯一调优目标。fit_prior 参数控制是否从训练集学习类别先验。默认 True。如果你的训练样本经过人工平衡各类别比例相差不大fit_prior 影响不大如果采集的原始数据里财经类占了 70%fit_priorTrue 会让模型更偏向财经这时要么重新采样要么设置 fit_priorFalse。class_prior 则是手动传入先验比如你想让模型按照某个目标分布进行预测可以直接传列表。但多数新闻分类项目里最省事的还是设 fit_priorTrue 并保证训练集分布接近真实分布。4. 评估与调优混淆矩阵、日志损失与阈值移动4.1 用混淆矩阵看新闻分类的真实错误模型跑通之后先别急着看准确率。打印分类报告和混淆矩阵from sklearn.metrics import classification_report, confusion_matrix import pandas as pd y_pred pipeline.predict(X_test) print(classification_report(y_test, y_pred, target_namespipeline.classes_)) cm pd.DataFrame(confusion_matrix(y_test, y_pred), indexpipeline.classes_, columnspipeline.classes_) print(cm)说明只看准确率不够。新闻分类里“体育”和“娱乐”经常互相混因为很多娱乐新闻写的是明星综艺而体育新闻也大量出现人名。混淆矩阵能告诉你哪些类别互相踩踏。如果发现财经和房产混在一起可以考虑在特征工程中把“房产”类训练语料里出现的高频词单独检查。分类报告里的 macro F1 比 accuracy 更有参考价值。macro F1 是每个类别的 F1 取平均如果某些小类被吃掉macro F1 会明显下跌。我在项目里会同时看 weighted F1后者按样本量加权更接近业务真实体感。4.2 调优顺序先调特征再调参数最后调阈值我的调优顺序是固定的第一调特征包括分词粒度、停用词、n_gram 范围、min_df/max_df第二调朴素贝叶斯参数 alpha第三如果业务允许调阈值。不要一上来就 GridSearch 全部参数否则跑一次要很久还不一定知道为什么变好。代码示例调 n_gram 和 alphafrom sklearn.model_selection import cross_val_score for ngram in [(1, 1), (1, 2), (2, 2)]: for alpha in [0.1, 0.3, 1.0]: p Pipeline([ (vectorize, CountVectorizer(tokenizerchinese_tokenizer, ngram_rangengram, min_df2, max_df0.8)), (clf, MultinomialNB(alphaalpha)), ]) scores cross_val_score(p, X_train, y_train, cv3, scoringf1_macro) print(ngram, alpha, scores.mean())说明ngram_range(1,1) 是纯 unigram(1,2) 会同时生成单个词和相邻两词组合。bigram 在新闻分类里通常能提升 1-2 个点但词表体积变大训练和预测都会变慢。如果项目部署在低配置服务器上可以只在内存够的时候开。(2,2) 只保留相邻词二元组在很多新闻场景里会丢失高频单字的主题信息我很少单独用。阈值移动新闻分类业务上经常要求“宁可让人工看也不要分错”。这时用 predict_probaproba pipeline.predict_proba(X_test) confidence proba.max(axis1) low_conf confidence 0.7把置信度低于 0.7 的样本标记为“待人工审核”而不是强行给类别。对朴素贝叶斯来说这比直接调参更实用因为多项式贝叶斯给出的概率绝对值本来就有偏向阈值 0.7 需要根据自己数据分布来调。运营团队可以接受一页低置信度列表但不能接受把新闻分到完全无关的类别里。4.3 多分类指标的取舍log_loss 与宏平均有时候团队会要求看 log_loss也就是对数损失衡量预测概率和真实标签之间的误差。朴素贝叶斯在这个指标上通常很难看因为它给出的概率分布非常尖锐不是经过校准的概率。但这不代表分类效果差因为业务只要排序score 用于阈值判断不需要和真实概率完全一致。我一般只在更换模型时才看 log_loss日常调优用 macro F1 和混淆矩阵就够了。还要警惕一种情况准确率和 macro F1 差距很大。如果准确率 90%macro F1 只有 60%说明大类表现好小类几乎报废。这时候先去解决样本不均衡而不是继续加 bigram。5. 新闻分类项目的避坑与常见问题排查5.1 中文编码乱码导致数据和模型全废现象读 CSV 后 DataFrame 里的 content 全是乱码分词结果出现一堆“锟斤拷”模型准确率只有 10%。 原因Windows 下导出的 CSV 常见 GBK 编码而 pandas 默认按 utf-8 读取编码错位后文本不可逆。 解决读入时显式指定编码先试 utf-8再试 gbk、gb18030df pd.read_csv(news_train.csv, encodinggb18030)我用 gb18030 而不是 gbk因为 gb18030 是 GBK 的超集遇到生僻字不会直接断掉。数据落地时统一转成 utf-8 保存后续所有环节不再猜测编码。这个坑在新闻爬虫数据里出现频率极高因为很多新闻网站的旧页面用的是 GB2312。5.2 训练集和预测集词表不一致现象模型训练时一切正常部署预测时直接抛错提示 “number of features of the input is not consistent with the training”。 原因很多项目源码把 CountVectorizer 和分类器分开保存预测时重新建立了一个 CountVectorizer词表当然对不上或者只保存了分类器没有保存向量器。 解决始终把 CountVectorizer 和 MultinomialNB 放进同一个 Pipeline整个保存和加载。预测时调用 pipeline.predict不要单独去 transform。如果因为历史原因已经拆开了用vectorizer.get_feature_names_out()检查新旧词表长度再补上缺失词。5.3 alpha 设得太大导致概率分布被抹平现象某个新闻类别召回率特别低预测结果几乎都集中在样本数量最多的类别。 原因alpha1 是默认值问题不大但有些人为了“平滑”把 alpha 设到 10 甚至 100词频统计被拉向均匀分布类别之间的差异变小后验主要由先验决定自然偏向大类。 解决用交叉验证调 alpha别手动拍脑袋。另外用predict_proba查看置信度均值alpha 过大时大量样本的最高置信度都会在 0.5 以下这时候模型已经趋于“什么都不能确定”。5.4 样本不均衡让先验失真现象训练集里财经类 5 万篇科技类 3 千篇整体准确率 88%但科技类 recall 只有 20%。 原因MultinomialNB 的类别先验 P(y) 从训练集里学大类天然占便宜。后验概率计算时所有词贡献的似然都要乘上这个偏斜的先验小类别很难翻盘。 解决先去重和下采样如果类别数量差异超过 5 倍对大类做欠采样或者对小类做轻度过采样业务上不允许改分布时把fit_priorFalse或者用class_prior手动指定目标分布。注意改先验后整体准确率不一定会涨但小类别的召回会明显改善。5.5 只看准确率忽略混淆矩阵里的相邻类别现象测试集准确率 90%上线后运营反馈某个分类完全不可用翻出混淆矩阵才发现“娱乐”和“体育”几乎分不清。 原因准确率是一个宏观指标类别不均衡时它被大样本类别绑架。新闻分类里相邻类别在词层面高度重叠比如娱乐新闻也会提“球队”“比赛”光看准确率完全感知不到。 解决每次训练完打印 classification_report再输出混淆矩阵。调优期间以 macro F1 为排序指标而不是 accuracy。我给自己定过一条规矩任何模型想上线至少要保证最差的那个类别 recall 不低于 50%否则不发布。6. 进阶把朴素贝叶斯模型做成可复用的新闻分类模块最后要说的是怎么把上面的源码固化成一个可以反复用的模块。不要停留在一个 notebook 里。一个常见做法是写一个NewsClassifier类把训练、评估、保存、预测包起来。import joblib class NewsClassifier: def __init__(self, alpha0.3, min_df2, max_df0.8): self.pipeline Pipeline([ (vectorize, CountVectorizer(tokenizerchinese_tokenizer, min_dfmin_df, max_dfmax_df)), (clf, MultinomialNB(alphaalpha)), ]) def fit(self, X, y): self.pipeline.fit(X, y) return self def predict(self, X, thresholdNone): if threshold is None: return self.pipeline.predict(X) proba self.pipeline.predict_proba(X) conf proba.max(axis1) preds self.pipeline.classes_[proba.argmax(axis1)] return [p if c threshold else None for p, c in zip(preds, conf)] def save(self, path): joblib.dump(self.pipeline, path) classmethod def load(cls, path): obj cls() obj.pipeline joblib.load(path) return obj说明threshold 参数可以直接返回 None 表示待人工审核这在舆情系统里非常实用。joblib.dump 保存的是整个 Pipeline里面已经包含训练好的词表下次 load 后直接 predict不会再出现特征数不匹配的问题。两个值得写进模块的进阶玩法是增量训练和时间切分验证。增量训练方面MultinomialNB 的partial_fit理论上可以更新模型但词表必须在第一次就固定否则新词会改变特征维度旧模型失效所以只在词表稳定的场景用否则还是每天重训。时间切分验证方面新闻有强时效性如果随机打乱切分训练测试集等于让模型在测试集里看到未来新闻指标虚高。我早期在这里吃过亏后来改成按发布时间排序前 80% 时间做训练后 20% 做验证这个习惯一直保留。朴素贝叶斯不是黑匣子它的参数就那么几个概率输出也很容易反推。做新闻分类项目时先把这套最小模块跑起来再决定是否上深度学习会比直接堆模型省下大量时间。希望帮到你。本文还有配套的精品资源点击获取
简介基于朴素贝叶斯算法实现新闻分类的Python项目源码用于解决中文新闻文本自动归类问题主要面向计算机相关专业的期末大作业、课程设计及需要算法实战的初学者。项目覆盖数据清洗、词频统计、模型训练与分类预测全流程源码经本地编译调试可稳定运行。压缩包共2000个文件其中1996个txt为分词与词频数据3个Python脚本负责URL解析、训练与分类核心逻辑另有1份README说明目录结构与运行方式整体13.33MB便于快速上手。目前已有152人学习浏览项目系导师指导下的高分作品评审98分难度适中适合作为朴素贝叶斯文本分类任务的参考实现。下载后可对照代码理解先验概率、条件概率计算及平滑处理等细节也可复用其数据格式扩展其他语料实验。1. 新闻分类为什么绕不开朴素贝叶斯先看它解决了什么做舆情系统时被规则分类折磨过的人应该能理解这种场景正则表达式维护了半年新增一个“某公司宣布…”的句式又要改一轮规则。换成朴素贝叶斯之后新闻分类这个项目才真正从“人工写规则”变成“喂数据学概率”。朴素贝叶斯解决的不是花哨的语义理解而是给你一个低成本、可解释、能上线的文本分类基线。这篇笔记要讲的是“基于朴素贝叶斯算法解决新闻分类问题”这类项目源码背后的完整落地路径为什么朴素贝叶斯能扛住中文新闻这种高维稀疏特征怎么从原始语料一步步得到可复现的模型alpha、min_df、先验这些参数该怎么设以及项目上线前后最容易踩的编码、词表、样本不均衡的坑。新手按第 3 章的代码可以跑通第一个模型熟手可以直接看第 5 章和第 6 章的排查与进阶。2. 朴素贝叶斯解决新闻分类的原理三个必须吃透的假设与特征选择2.1 贝叶斯公式在新闻分类里的真实含义新闻分类的目标是给一篇文档 x 找出最可能的类别 y。朴素贝叶斯建模的对象是后验概率 P(y|x)公式是 P(y|x)P(x|y)P(y)/P(x)。在实际比较类别时分母 P(x) 对所有类别都一样所以只比较分子。P(y) 是类别先验P(x|y) 是文档在该类别下的似然。这两个量在训练集里都能用频率统计出来这是朴素贝叶斯区别于深度学习模型最根本的一点不靠隐层学习表示而是直接数数。关键是 P(x|y) 怎么算。如果 x 是整篇文档的词序列那维度就是所有词组合估计需要天文数字的样本。朴素贝叶斯做了条件独立假设给定类别 y 后每个词的出现概率互不影响。于是 P(x|y)P(w1|y)P(w2|y)…P(wn|y)。这在中文新闻里显然是假的“央行”和“降息”不会独立但分类任务只需要后验概率的相对大小独立假设产生的偏差只要不改变排序结果就仍然正确。这也是“朴素”二字的由来。用例子方便理解一篇正文里出现“射门”一次、“篮板”一次如果模型算出 P(篮球|射门)0.03P(理财|射门)0.001那么后验概率会被这个词拉开几个数量级类别倾向就很明显。多个词的投票累加后真实类别的得分通常稳定领先。所以朴素贝叶斯特别适合新闻这种有明显主题词的文本坑主要出在特征太稀疏和先验失衡。2.2 多项式朴素贝叶斯为什么是新闻分类的默认选型scikit-learn 里有 GaussianNB、BernoulliNB、MultinomialNB 三种。GaussianNB 假设特征服从正态分布适合处理连续数值比如年龄、收入、传感器值BernoulliNB 把特征看成二值只记录词出现与否适合短文本MultinomialNB 假设特征服从多项式分布输入是词频数或 TF-IDF 值这正好匹配 CountVectorizer 的输出。新闻分类的特征是稀疏词频向量所以 MultinomialNB 是默认选择很多教学里常说的黑马朴素贝叶斯案例也是这个组合核心原因不是因为它最准确而是因为它在这类输入上数值最稳定。MultinomialNB 有一个关键参数 alpha也就是拉普拉斯平滑系数。默认 alpha1防止某些未登录词的概率算成零。alpha 越小模型越贴近训练集alpha 越大概率越向均匀分布收缩。在新闻分类项目里见过不少人对 alpha 完全不调直接用默认值结果模型对生僻词的响应过于剧烈线上乱分。后面 3.3 会给出调参代码。2.3 特征工程分词、停用词与 TF-IDF 权重中文分词是绕不开的一步。jieba 的最常用模式是jieba.lcut返回一个词列表。分词之后要过滤停用词处理新闻格式词比如“记者”“编辑”“来源”“点击”这类词在各类别都出现对分类没有区分度留着只会增加特征维度。停用词表可以用开源清单然后自己追加领域词。要不要上 TF-IDF我一般先跑 CountVectorizer MultinomialNB 的基线再用 TfidfVectorizer 对比。在新闻分类任务里停用词过滤做干净后TF-IDF 相对词频的提升通常不到一个点但 TfidfVectorizer 默认 L2 归一化之后输出非负能和 MultinomialNB 配合。如果使用 TfidfVectorizer可以把 sublinear_tf 参数打开使词频用 1log(tf) 表示减轻高频词的压制。这里有一个容易踩的细节CountVectorizer 和 TfidfVectorizer 都要求输入词已经切好我习惯用 tokenizer 参数直接把 jieba 接进 pipeline而不是先分词再拼空格后者会丢失词边界并且让词表出现莫名其妙的空格痕迹。特征维度的控制也很重要。min_df2 表示至少在 2 篇文档中出现才进入词表max_df0.8 表示在超过 80% 文档中出现的词视为无区分度并丢弃。新闻语料里“今天”“最新”这类高频词会被 max_df 过滤这对分类是好事。如果语料很小min_df 可以设为 1但新闻分类语料一般有几万条min_df2 能显著减少噪声。标题和正文的权重问题也常在新闻分类项目里出现。新闻的标题信息密度远高于正文一个简单的做法是在拼接时把标题重复两次再和正文一起送入模型相当于给标题词更高计数。朴素贝叶斯对特征计数敏感这种重复操作在数学上等价于给标题词加大权重能带来实际提升。不过要注意如果标题很短重复两次导致的计数变化不大反而会拉长序列常见做法是先跑基线再决定要不要做标题加权。2.4 朴素贝叶斯与深度分类模型的取舍什么时候别选它朴素贝叶斯不是万能。新闻分类如果涉及复杂语义比如需要理解“虽然表现不佳但市场份额仍在增长”这样带转折的句子朴素贝叶斯只看词袋无法真正建模否定和转折关系。深度模型如 TextCNN、BERT 更适合这种任务但它们需要更多标注数据、GPU、更长的调参时间。我的经验是项目刚启动、需要快速交付时朴素贝叶斯作为基线如果业务要求高精度先用朴素贝叶斯产出数据清洗和评估代码再切换到深层模型这比一上来就上 BERT 稳妥。这个取舍还体现在可解释性上。新闻分类项目会经常被业务方问“为什么这条分到了财经”朴素贝叶斯可以直接输出每个词的贡献也就是各个词的对数似然和先验的叠加。深度模型虽然可以靠 SHAP 等工具解释但解释成本高。对舆情审核这种需要给理由的业务朴素贝叶斯反而比深度模型更受欢迎。3. 从零搭一个新闻分类项目数据准备与最小可用代码3.1 数据怎么组织标签和正文两列就够了常见做法是 CSV。THUCNews、搜狗新闻这类公开数据集通常也提供类别和正文字段导入后先看分布。我一般会在这一步做一个数据质量检查脚本代码import pandas as pd df pd.read_csv(news_train.csv, encodingutf-8) print(df.shape) print(df[label].value_counts(normalizeTrue)) print(df[content].str.len().describe()) df.drop_duplicates(subset[content], inplaceTrue) df df[df[content].str.len() 10] df df.dropna(subset[content, label]) print(df[label].value_counts())逻辑说明先看类别分布normalizeTrue 能直接显示比例再统计正文长度如果最短长度只有几个字符大概率是标题或残缺页。去重是必须的爬虫数据经常有完全一样的拼接。删除长度太短的样本避免模型学到无意义标签。最后再看一次分布如果某一类占比超过 70%要决定是下采样还是用后面提到的先验控制。3.2 用 jieba 分词和 Pipeline 跑通最小模型模型代码之前先加载停用词stop_words set() with open(stopwords.txt, encodingutf-8) as f: for line in f: w line.strip() if w: stop_words.add(w)注意停用词文件一行一个词编码用 utf-8如果文件是 GBK读取时会报 UnicodeDecodeError这就是后面避坑章节要讲的编码问题。然后定义分词器和 Pipelineimport jieba def chinese_tokenizer(text): return [w for w in jieba.lcut(text) if w.strip() and len(w) 1]这里用len(w) 1过滤单字。新闻分类里单字多数是“的”“了”“在”停用词未必覆盖干净直接在分词器里过滤比在停用词表里维护更高效。from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline from sklearn.model_selection import train_test_split pipeline Pipeline([ (vectorize, CountVectorizer(tokenizerchinese_tokenizer, stop_wordsstop_words, min_df2, max_df0.8)), (clf, MultinomialNB(alpha0.3)), ]) X_train, X_test, y_train, y_test train_test_split( df[content], df[label], test_size0.2, random_state42, stratifydf[label] ) pipeline.fit(X_train, y_train) print(accuracy:, pipeline.score(X_test, y_test))代码逻辑CountVectorizer的 tokenizer 参数决定如何把一段文本拆成词。stop_words在向量器内部做集合过滤。min_df和max_df控制词表规模。MultinomialNB接收词频矩阵alpha0.3 是初选值。Pipeline 的价值在于 fit 过程中同时训练向量器和分类器预测时也自动使用同一个词表不会出现词表不一致的问题。这是这类新闻分类项目源码里最核心的一段后续所有调优都在这个 Pipeline 上叠加。3.3 参数设多少alpha、fit_prior 与 class_prior 的选择调 alpha 我一般用网格搜索而不是手动试一两个值from sklearn.model_selection import GridSearchCV param_grid { vectorize__min_df: [1, 2, 3], vectorize__max_df: [0.6, 0.8, 1.0], clf__alpha: [0.01, 0.1, 0.3, 1.0], } gs GridSearchCV(pipeline, param_grid, cv3, scoringf1_macro, n_jobs-1) gs.fit(X_train, y_train) print(gs.best_params_)这里必须注意参数名写法Pipeline 里的步名和参数名之间用双下划线__连接比如vectorize__min_df和clf__alpha。如果少写一个下划线sklearn 会直接报 Invalid parameter。scoringf1_macro是为了在多分类且类别不均衡时不把准确率当作唯一调优目标。fit_prior 参数控制是否从训练集学习类别先验。默认 True。如果你的训练样本经过人工平衡各类别比例相差不大fit_prior 影响不大如果采集的原始数据里财经类占了 70%fit_priorTrue 会让模型更偏向财经这时要么重新采样要么设置 fit_priorFalse。class_prior 则是手动传入先验比如你想让模型按照某个目标分布进行预测可以直接传列表。但多数新闻分类项目里最省事的还是设 fit_priorTrue 并保证训练集分布接近真实分布。4. 评估与调优混淆矩阵、日志损失与阈值移动4.1 用混淆矩阵看新闻分类的真实错误模型跑通之后先别急着看准确率。打印分类报告和混淆矩阵from sklearn.metrics import classification_report, confusion_matrix import pandas as pd y_pred pipeline.predict(X_test) print(classification_report(y_test, y_pred, target_namespipeline.classes_)) cm pd.DataFrame(confusion_matrix(y_test, y_pred), indexpipeline.classes_, columnspipeline.classes_) print(cm)说明只看准确率不够。新闻分类里“体育”和“娱乐”经常互相混因为很多娱乐新闻写的是明星综艺而体育新闻也大量出现人名。混淆矩阵能告诉你哪些类别互相踩踏。如果发现财经和房产混在一起可以考虑在特征工程中把“房产”类训练语料里出现的高频词单独检查。分类报告里的 macro F1 比 accuracy 更有参考价值。macro F1 是每个类别的 F1 取平均如果某些小类被吃掉macro F1 会明显下跌。我在项目里会同时看 weighted F1后者按样本量加权更接近业务真实体感。4.2 调优顺序先调特征再调参数最后调阈值我的调优顺序是固定的第一调特征包括分词粒度、停用词、n_gram 范围、min_df/max_df第二调朴素贝叶斯参数 alpha第三如果业务允许调阈值。不要一上来就 GridSearch 全部参数否则跑一次要很久还不一定知道为什么变好。代码示例调 n_gram 和 alphafrom sklearn.model_selection import cross_val_score for ngram in [(1, 1), (1, 2), (2, 2)]: for alpha in [0.1, 0.3, 1.0]: p Pipeline([ (vectorize, CountVectorizer(tokenizerchinese_tokenizer, ngram_rangengram, min_df2, max_df0.8)), (clf, MultinomialNB(alphaalpha)), ]) scores cross_val_score(p, X_train, y_train, cv3, scoringf1_macro) print(ngram, alpha, scores.mean())说明ngram_range(1,1) 是纯 unigram(1,2) 会同时生成单个词和相邻两词组合。bigram 在新闻分类里通常能提升 1-2 个点但词表体积变大训练和预测都会变慢。如果项目部署在低配置服务器上可以只在内存够的时候开。(2,2) 只保留相邻词二元组在很多新闻场景里会丢失高频单字的主题信息我很少单独用。阈值移动新闻分类业务上经常要求“宁可让人工看也不要分错”。这时用 predict_probaproba pipeline.predict_proba(X_test) confidence proba.max(axis1) low_conf confidence 0.7把置信度低于 0.7 的样本标记为“待人工审核”而不是强行给类别。对朴素贝叶斯来说这比直接调参更实用因为多项式贝叶斯给出的概率绝对值本来就有偏向阈值 0.7 需要根据自己数据分布来调。运营团队可以接受一页低置信度列表但不能接受把新闻分到完全无关的类别里。4.3 多分类指标的取舍log_loss 与宏平均有时候团队会要求看 log_loss也就是对数损失衡量预测概率和真实标签之间的误差。朴素贝叶斯在这个指标上通常很难看因为它给出的概率分布非常尖锐不是经过校准的概率。但这不代表分类效果差因为业务只要排序score 用于阈值判断不需要和真实概率完全一致。我一般只在更换模型时才看 log_loss日常调优用 macro F1 和混淆矩阵就够了。还要警惕一种情况准确率和 macro F1 差距很大。如果准确率 90%macro F1 只有 60%说明大类表现好小类几乎报废。这时候先去解决样本不均衡而不是继续加 bigram。5. 新闻分类项目的避坑与常见问题排查5.1 中文编码乱码导致数据和模型全废现象读 CSV 后 DataFrame 里的 content 全是乱码分词结果出现一堆“锟斤拷”模型准确率只有 10%。 原因Windows 下导出的 CSV 常见 GBK 编码而 pandas 默认按 utf-8 读取编码错位后文本不可逆。 解决读入时显式指定编码先试 utf-8再试 gbk、gb18030df pd.read_csv(news_train.csv, encodinggb18030)我用 gb18030 而不是 gbk因为 gb18030 是 GBK 的超集遇到生僻字不会直接断掉。数据落地时统一转成 utf-8 保存后续所有环节不再猜测编码。这个坑在新闻爬虫数据里出现频率极高因为很多新闻网站的旧页面用的是 GB2312。5.2 训练集和预测集词表不一致现象模型训练时一切正常部署预测时直接抛错提示 “number of features of the input is not consistent with the training”。 原因很多项目源码把 CountVectorizer 和分类器分开保存预测时重新建立了一个 CountVectorizer词表当然对不上或者只保存了分类器没有保存向量器。 解决始终把 CountVectorizer 和 MultinomialNB 放进同一个 Pipeline整个保存和加载。预测时调用 pipeline.predict不要单独去 transform。如果因为历史原因已经拆开了用vectorizer.get_feature_names_out()检查新旧词表长度再补上缺失词。5.3 alpha 设得太大导致概率分布被抹平现象某个新闻类别召回率特别低预测结果几乎都集中在样本数量最多的类别。 原因alpha1 是默认值问题不大但有些人为了“平滑”把 alpha 设到 10 甚至 100词频统计被拉向均匀分布类别之间的差异变小后验主要由先验决定自然偏向大类。 解决用交叉验证调 alpha别手动拍脑袋。另外用predict_proba查看置信度均值alpha 过大时大量样本的最高置信度都会在 0.5 以下这时候模型已经趋于“什么都不能确定”。5.4 样本不均衡让先验失真现象训练集里财经类 5 万篇科技类 3 千篇整体准确率 88%但科技类 recall 只有 20%。 原因MultinomialNB 的类别先验 P(y) 从训练集里学大类天然占便宜。后验概率计算时所有词贡献的似然都要乘上这个偏斜的先验小类别很难翻盘。 解决先去重和下采样如果类别数量差异超过 5 倍对大类做欠采样或者对小类做轻度过采样业务上不允许改分布时把fit_priorFalse或者用class_prior手动指定目标分布。注意改先验后整体准确率不一定会涨但小类别的召回会明显改善。5.5 只看准确率忽略混淆矩阵里的相邻类别现象测试集准确率 90%上线后运营反馈某个分类完全不可用翻出混淆矩阵才发现“娱乐”和“体育”几乎分不清。 原因准确率是一个宏观指标类别不均衡时它被大样本类别绑架。新闻分类里相邻类别在词层面高度重叠比如娱乐新闻也会提“球队”“比赛”光看准确率完全感知不到。 解决每次训练完打印 classification_report再输出混淆矩阵。调优期间以 macro F1 为排序指标而不是 accuracy。我给自己定过一条规矩任何模型想上线至少要保证最差的那个类别 recall 不低于 50%否则不发布。6. 进阶把朴素贝叶斯模型做成可复用的新闻分类模块最后要说的是怎么把上面的源码固化成一个可以反复用的模块。不要停留在一个 notebook 里。一个常见做法是写一个NewsClassifier类把训练、评估、保存、预测包起来。import joblib class NewsClassifier: def __init__(self, alpha0.3, min_df2, max_df0.8): self.pipeline Pipeline([ (vectorize, CountVectorizer(tokenizerchinese_tokenizer, min_dfmin_df, max_dfmax_df)), (clf, MultinomialNB(alphaalpha)), ]) def fit(self, X, y): self.pipeline.fit(X, y) return self def predict(self, X, thresholdNone): if threshold is None: return self.pipeline.predict(X) proba self.pipeline.predict_proba(X) conf proba.max(axis1) preds self.pipeline.classes_[proba.argmax(axis1)] return [p if c threshold else None for p, c in zip(preds, conf)] def save(self, path): joblib.dump(self.pipeline, path) classmethod def load(cls, path): obj cls() obj.pipeline joblib.load(path) return obj说明threshold 参数可以直接返回 None 表示待人工审核这在舆情系统里非常实用。joblib.dump 保存的是整个 Pipeline里面已经包含训练好的词表下次 load 后直接 predict不会再出现特征数不匹配的问题。两个值得写进模块的进阶玩法是增量训练和时间切分验证。增量训练方面MultinomialNB 的partial_fit理论上可以更新模型但词表必须在第一次就固定否则新词会改变特征维度旧模型失效所以只在词表稳定的场景用否则还是每天重训。时间切分验证方面新闻有强时效性如果随机打乱切分训练测试集等于让模型在测试集里看到未来新闻指标虚高。我早期在这里吃过亏后来改成按发布时间排序前 80% 时间做训练后 20% 做验证这个习惯一直保留。朴素贝叶斯不是黑匣子它的参数就那么几个概率输出也很容易反推。做新闻分类项目时先把这套最小模块跑起来再决定是否上深度学习会比直接堆模型省下大量时间。希望帮到你。本文还有配套的精品资源点击获取
