每年到毕设季社交媒体和论坛上总有大量求推荐毕设题目的帖子。见得多了你会发现真正能让你省心省力、顺利过审的题目通常具备三个特征技术栈主流、业务闭环完整、有现成参考。而基于Django机器学习的电商评论情感分析恰好就是这类题目里的经典代表。它不花哨但五脏俱全有爬虫、有机器学习建模、有Web系统展示、有数据可视化既能展示工程能力又能秀算法基本功加上Django全家桶的高成熟度整套项目做下来无论是对就业面试还是毕业答辩都有拿得出手的素材。更现实的一点是这类项目网上有大量开源源码和教程配套的文档、调试服务也很成熟。对时间紧张、又要兼顾秋招春招的大四学生来说能在现有框架上二次开发和改造远比自己从零写一套稳定得多。这篇文章我就以这个题目为主线把选题价值、技术链路、核心实现、常见坑点、答辩技巧一次讲透希望能给正在纠结毕设的你提供一份能照着做的参考。1. 为什么这个题目值得做需求与收益拆解1.1 一道题同时覆盖硬实力和软交付毕业设计最怕的是什么不是题目难而是题目做完导师和评委看不出你的工作量。电商评论情感分析这个方向天然自带一条完整的业务链路数据采集爬虫/公开数据集→ 数据清洗与标注 → 特征工程 → 模型训练与评估 → Web系统集成 → 结果可视化。光是这条链路本身就能在答辩PPT里画出满满一页架构图每一环节都能单独展开讲。相比单纯做一个增删改查的管理系统它的算法属性会让答辩档次高不少。相比纯算法调参类题目它又有Web端交付物属于看得见摸得着的成果。评委问你这个项目解决了什么实际问题时你可以很自然地回答商家想知道用户对商品的态度是好评还是差评与其人工一条条看评论不如让模型自动打分再把结果聚合到后台看板里。这个逻辑是闭环的不需要编。1.2 技术栈选型为什么是Django机器学习有些同学看到机器学习就慌觉得肯定要搭复杂的TensorFlow、PyTorch环境。实际上针对文本情感分析这类任务传统的TF-IDF逻辑回归、朴素贝叶斯模型只要特征处理到位准确率完全可以达到85%以上而且训练快、部署轻你甚至可以用一台8GB内存的笔记本跑完全部流程。Django在这一环的优势在于它的ORM、Admin后台、模板系统、表单校验都开箱即用你不需要像SpringBoot那样写一堆配置才能启动。项目里所有模块——用户评论输入、模型预测接口、历史记录存储、统计图表渲染——都可以在Django里用Python直接完成省去了后端一套语言、算法另一套语言的对接成本。这也是为什么市面上大部分机器学习相关的Web毕设项目都选了Python系Web框架因为工程链路最短出问题最好排查。1.3 适合谁做难度如何我认为这个题目最理想的受众是已经学完Python基础、懂一点Django哪怕只写过博客教程、对机器学习停留在知道有监督和无监督程度的同学。做这个毕设的周期正常节奏是四周到六周每天保证两三个小时完全可以完成。如果你完全零基础以前只写过Java那我不建议直接硬上。不是说做不了而是你会在环境配置、Django路由、模板渲染这些细节上消耗大量时间最后项目虽然跑通了但对每个模块的原理其实说不清楚答辩时很容易被问穿。反过来如果你对机器学习已经比较熟可以考虑在这个题目上做增量比如引入BERT做情感分类、加入CNN文本分类、做细粒度情感维度分析这些都能显著提升课题的先进性和答辩加分项。2. 系统架构与功能设计2.1 整体技术架构拆解这个项目的标准技术架构可以分成四层数据层通过爬虫如requestsBeautifulSoup解析静态页面或Selenium处理动态渲染页面采集电商平台公开评论也可直接复用公开数据集如ChnSentiCorp先把原始评论文本落到本地CSV或SQLite保证后续程序启动时数据是可用的。算法层中文文本先做分词jieba、去停用词再通过TF-IDF向量化器把文本转成数值特征送入训练好的分类模型逻辑回归/朴素贝叶斯/SVM输出好评、中评、差评或正向、负向的概率值。服务层Django应用接收前端请求调用模型预测函数把结果写入MySQL或SQLite同时提供RESTful API方便后续扩展前端框架。展示层用Django模板BootstrapECharts实现用户输入文本即时预测、批量导入评论情感分析、后台统计报表好评率饼图、情感趋势折线图三大模块。Django在这套架构里既充当了后端服务又充当了算法服务的调用方。因为都是用Python写的整个调用链路没有跨语言开销开发效率极高。2.2 功能模块划分一个能顺利过审的功能清单我建议至少包含以下模块功能模块具体内容答辩要点说明商品评论采集支持键盘键入/文件上传/爬虫批量入库三种数据来源强调数据量、数据清洗规则情感分析引擎基于训练模型对单条/批量评论输出情感极性及置信度强调模型准确率、召回率对比评论管理后台Django Admin管理评论数据、标注结果、模型调用记录展示ORM数据建模能力可视化看板好评率统计、高频关键词词云、各商品对比柱状图反映数据分析能力用户登录与权限简易的注册登录区分普通用户和管理员体现Web工程完整性这五个模块做完你的系统就是一个可运行、可展示、可演示的完整应用而不是几个脚本的拼凑。2.3 为什么强调公开数据优先爬虫兼容网上很多教程一上来就是爬淘宝京东评论实操过的同学都知道淘宝的反爬非常强登录验证、滑块验证、商品详情接口加密你费半天劲可能只能爬到商品页的评分根本拿不到评论文本京东相对宽容但评论接口也需要带cookie和动态参数。真正等到4月份要交初稿的时候你会发现自己花了两周写的爬虫可能因为平台改版直接全线崩掉。所以我的建议是项目主流程一定要做成加载本地数据就能跑通爬虫只是加分项。先用开源的电商评论数据集如ChnSentiCorp酒店评论、线上购物评论把模型、Web系统先做出来确保主体功能稳定运行。等一切正常了再考虑加一个可选模块爬取某个允许公开数据的电商平台作为演示补充。这样就算爬虫失效你的核心演示也不受影响。3. 核心实现细节与实操步骤3.1 环境准备与项目初始化建议使用Python 3.8-3.10不要直接用最新版本有些依赖还没有适配Django推荐3.2 LTS版本这个版本稳定且官方支持周期长。MySQL可选装但为了省心初期用SQLite开发后期再迁移到MySQLDjango的ORM让你切换数据库几乎不用改代码。# 创建虚拟环境Windows或Linux均适用 python -m venv venv # 激活Windows venv\Scripts\activate # 激活Linux/Mac source venv/bin/activate # 安装核心依赖 pip install django3.2 pip install pandas numpy scikit-learn jieba pip install beautifulsoup4 requests lxml pip install pymysql # 如果你打算用MySQL pip install django-simpleui # 可选美化Admin后台接下来创建项目和应用django-admin startproject SentimentAnalysis cd SentimentAnalysis python manage.py startapp sentiment细节上记得在settings.py的INSTALLED_APPS里注册sentiment这个app然后配置数据库连接。如果是SQLite什么都不用改如果是MySQL需要在settings里额外配置DATABASES { default: { ENGINE: django.db.backends.mysql, NAME: sentiment_db, USER: root, PASSWORD: yourpassword, HOST: 127.0.0.1, PORT: 3306, } }3.2 数据准备的完整流程如果你选择用公开数据集这里需要做一个关键的预处理步骤。以网上流传较广的电商评论数据集为例原始文件往往是CSV格式包含评价内容和情感标签两列标签值有1和-1或2、1、0表示好评、中评、差评。你需要整理成模型能用的格式import pandas as pd df pd.read_csv(data/raw_comments.csv, encodingutf-8) # 统一列名去掉空值 df.columns [comment, label] df df.dropna(subset[comment]) # 标签映射假设原标签 1好评, 0中评, -1差评 df[label] df[label].map({1: 2, 0: 1, -1: 0}) # 转为0/1/2三分类 df.to_csv(data/cleaned_comments.csv, indexFalse, encodingutf-8) print(df[label].value_counts())做这一步的意义在于不同来源的数据集标注规则不一样如果不统一模型训练时会直接报错或精度异常。清洗完成后把数据按8:1:1切分为训练集、验证集、测试集切分时记得设置random_state固定随机种子保证实验可复现。3.3 中文文本特征工程和模型训练中文文本和英文的一个核心区别是英文天然用空格分词中文必须借助分词工具。这里我用jieba进行精确模式分词并构造TF-IDF特征。import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report import pandas as pd def cut_words(text): return .join(jieba.lcut(str(text), cut_allFalse)) df pd.read_csv(data/cleaned_comments.csv, encodingutf-8) df[cut_comment] df[comment].apply(cut_words) X_train, X_test, y_train, y_test train_test_split( df[cut_comment], df[label], test_size0.2, random_state42 ) vectorizer TfidfVectorizer(max_features5000) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) model LogisticRegression(max_iter1000) model.fit(X_train_vec, y_train) y_pred model.predict(X_test_vec) print(classification_report(y_test, y_pred))这里有几个关键点max_features5000词表不是越大越好设置为3000到8000之间通常能在训练速度和精度间获得平衡。特征过多会导致维度爆炸训练非常慢过少则丢失信息。逻辑回归在这个任务里往往比朴素贝叶斯效果好因为它对特征权重的拟合更灵活且带有概率输出方便Web端设置置信度阈值。如果训练集太小比如只有几百条别指望模型准确率能上90%这时候老实用朴素贝叶斯或者考虑数据增强。训练完成后用joblib把模型和向量化器保存到项目的model/目录下方便Django在启动时加载。import joblib joblib.dump(model, model/sentiment_model.pkl) joblib.dump(vectorizer, model/vectorizer.pkl)3.4 Django中集成模型的三种方式方案一一次性加载全局使用。在Django的apps.py里在ready()方法中加载模型保存到类变量。这是最常见的做法模型只加载一次不会拖慢每次请求。# sentiment/apps.py import os import joblib from django.apps import AppConfig class SentimentConfig(AppConfig): name sentiment model None vectorizer None def ready(self): base_dir os.path.dirname(os.path.dirname(os.path.abspath(__file__))) self.__class__.model joblib.load(os.path.join(base_dir, model/sentiment_model.pkl)) self.__class__.vectorizer joblib.load(os.path.join(base_dir, model/vectorizer.pkl))方案二每次请求动态加载。如果你改了模型文件想立即生效可以在视图函数里加载但代价是每次调用都有磁盘IO高并发时不可取演示环境勉强能用。方案三用Celery做异步预测。如果有大文件批量预测的需求为了避免页面长时间无响应可以把预测任务丢到Celery队列里。但毕设项目除非你刻意追求工程复杂度否则不建议上Celery徒增部署成本。我自己的做法是方案一然后在admin后台加了一个重新加载模型的按钮这样调试新模型时不用重启服务。3.5 前端结果展示与交互实现Django模板页面核心功能就三块输入框、预测按钮、结果展示区。前端通过AJAX提交文本到后端接口返回JSON格式的情感结果页面局部刷新。# sentiment/views.py from django.http import JsonResponse from django.views.decorators.csrf import csrf_exempt import jieba csrf_exempt def predict_api(request): if request.method POST: text request.POST.get(comment, ) if not text.strip(): return JsonResponse({code: 1, msg: 评论不能为空}) cut_text .join(jieba.lcut(text)) # SentimentConfig是上面定义的AppConfig from sentiment.apps import SentimentConfig vec SentimentConfig.vectorizer.transform([cut_text]) proba SentimentConfig.model.predict_proba(vec)[0] label int(SentimentConfig.model.predict(vec)[0]) # 假设 label 0差评, 1中评, 2好评 result_map {0: 差评, 1: 中评, 2: 好评} return JsonResponse({ code: 0, label: result_map[label], confidence: round(float(max(proba)), 4), prob: proba.tolist() }) return JsonResponse({code: 1, msg: 仅支持POST请求})注意里面用了csrf_exempt因为AJAX请求如果不带CSRF Token会默认被Django拦截返回403。虽然这是个快速调试的做法但生产环境或者正式答辩前我建议还是改成在AJAX头里带Token的方式这样评委可能会问你CSRF是什么你能答上来是一个小的加分点。页面上建议用ECharts的饼图展示历史分析结果比如所有预测过的评论中好评、中评、差评各占的比例。数据来源可以直接读Django模型里已保存的预测记录不需要额外复杂查询from django.db.models import Count from .models import AnalysisRecord def dashboard(request): records AnalysisRecord.objects.values(result).annotate(totalCount(id)) return render(request, dashboard.html, {records: list(records)})4. 基于源码二次开发与定制调试4.1 拿到一份开源项目源码后第一步该干什么很多同学从GitHub或网盘下载了Django机器学习情感分析源码打开文件夹时是茫然的。先别急着python manage.py runserver按下面的顺序做能帮你省掉一半的报错时间先看requirements.txt用pip install -r requirements.txt安装依赖。如果没有这个文件就根据代码里的import反向推断依赖。再检查项目里有没有db.sqlite3数据库文件如果有通常说明作者已经把开发数据打包进项目了启动后能看到现成的页面数据如果没有需要先执行python manage.py migrate建表。然后检查settings.py里数据库配置是否指向本地如果作者用的是MySQL你没有MySQL要改成SQLite或者按他提供的脚本建库。最后确认模型文件pkl是否存在这个很关键。很多源码发布者不会上传训练好的模型文件因为文件体积大。如果缺失你需要自己跑一遍训练脚本重新生成。4.2 源码改造的三个可行方向直接照搬源码交毕设评委看穿的风险很大工科学校通常还有查重环节。在源码基础上做二次改造既能减少工作量又能让你的成果有差异化。我提供三个方向都是低成本高回报的方向一把二分类改成三分类。原项目如果只有正向/负向两种结果你可以加入中性这一分类重新整理数据和训练模型整个系统的分析和展示逻辑都要同步调整工作量适中且答辩时很好讲。方向二增加商品维度的聚合分析。在预测结果的模型里加上商品名称字段之后按商品分组展示不同商品的好评率排名。这样就从一个单纯的情感分析工具升级成了一个商品口碑对比系统业务价值更丰满。方向三引入深度学习模型做对比。不替换原有模型而是额外训练一个基于LSTM或TextCNN的情感分类模型在系统的模型对比页面展示两个模型在同一测试集上的准确率、召回率对比。深度学习模型用Keras实现也就几十行代码但整个项目的技术先进性能明显提升。4.3 调试定制服务为什么值得关注在商品详情页里经常能看到调试定制服务这几个字很多学生第一反应是又要额外花钱是不是坑。以我这些年见过的情况来说这个服务本质上买的是确定性。毕设项目卡住时最难受的不是问题本身难而是你完全不知道问题出在哪。环境变量不对、Python版本不兼容、数据库驱动缺失、依赖包版本冲突每一个都可能让你卡两三天。有一名能远程协助、告诉你你这报错是因为缺少pymysql装一下就行的人效率完全是两个级别。我的建议是先自己尝试遇到问题记录下完整报错信息再去求助。求助时把报错截图、Django版本、操作系统环境这三样信息发过去基本10分钟内能得到有效答复。不要一上来就让人远程帮你从头搭环境那既体现不出你自己的操作能力你也学不到东西。5. 高频问题排查与答辩经验补充5.1 实操中遇到的高频问题速查表问题现象原因解决方案ModuleNotFoundError: No module named MySQLdb缺少MySQL驱动pip install pymysql并在项目__init__.py中加import pymysql; pymysql.install_as_MySQLdb()django.core.exceptions.ImproperlyConfigured环境变量或数据库配置错误检查settings.py中DATABASES、SECRET_KEY是否有值模型预测全部输出同一个标签模型训练数据严重不平衡或分词特征没生效检查类别分布考虑对多数类欠采样检查TfidfVectorizer是否用了训练后的对象重新拟合页面加载慢一次请求几秒每次请求都在重新加载模型或分词器按3.4节的方案一在AppConfig中初始化模型中文乱码CSV文件编码不一致统一用utf-8-sig读取带BOM的CSV写入时指定encodingutf-8403 Forbiddenon AJAXCSRF校验未通过要么在发送时带CSRFToken要么临时用csrf_exempt爬虫被反爬拦截User-Agent、频率、验证码问题降低抓取频率修改UA优先使用公开数据集替代其中模型预测全部输出同一个标签这个问题我在带学生时遇到最多。原因十有八九是训练时用了vectorizer.fit_transform(train_data)预测时却错误地调用了vectorizer.fit_transform(single_text)导致特征空间完全不一致。正确做法是预测时必须使用同一个vectorizer.transform。5.2 答辩时会被问到的重点问题答辩不是看你项目跑得多顺而是看你有没有真正理解系统每一层在干什么。下面这些问题建议你提前准备好答案为什么选择逻辑回归而不是深度学习模型——回答思路逻辑回归在中小规模文本分类任务上性能足够训练时间短、可解释性强深度学习模型需要大规模数据和GPU资源本次数据量不足会导致过拟合。如果觉得不够可以补充我尝试了LSTM作为对比实验效果虽有提升但幅度不大考虑到Web系统需要快速响应最终选用了逻辑回归。TF-IDF的原理是什么——回答思路TF衡量词在文档中出现的频率IDF衡量词在多少文档中出现过稀有词的IDF高、常见词如的、了的IDF低两者相乘得到词权重。一句话总结衡量一个词对某篇文档的重要程度。如果评论是表情符号或英文你的系统能处理吗——回答思路当前预处理主要针对中文文本表情符号会被jieba分词过滤掉英文会被小写化后纳入TF-IDF特征。如果要改进可以增加表情符号映射为情感分值等逻辑。诚实承认局限并给出改进思路比硬撑效果更好。系统的准确性如何衡量——回答思路准确率、精确率、召回率、F1值用测试集的混淆矩阵展示。5.3 在最后阶段补充的个人扩展心得如果你的时间还剩一周我的建议是不要贪多把基础功能打磨到极致数据集规模更大一点、模型准确率对比图表更完整、页面加载更快、代码命名更规范。一个整体干净整洁、没有任何红字报错、每一步都能讲清楚原因的项目远比一个堆了无数花哨功能却没法顺畅演示的项目更容易拿高分。就我自己带项目的感受来说Django机器学习这个组合之所以能成为经典毕设方向恰恰是因为它有巨大的容错空间你基础薄弱可以做标准的流水线实现你有更高追求可以从模型、架构、可视化三个层面不断加码。它是一道下限不低、上限很高的题目也是少数能让你在秋招简历上写出独立完成情感分析Web系统开发这种确定性成果的项目类型。最后再分享一个小技巧无论你最终从哪个渠道获得了源码拿到手第一件事请你建一个git仓库先把原始版本提交一次。后面你每改一个功能点就提交一次。这样不但可以帮你留下清晰的开发记录万一某次改坏了还能随时回滚到可用版本。毕设做的是工程工程就容不得改坏了没法收场的意外。祝各位都能顺顺利利搞定毕设给自己的大学生涯画一个干净的句号。
每年到毕设季社交媒体和论坛上总有大量求推荐毕设题目的帖子。见得多了你会发现真正能让你省心省力、顺利过审的题目通常具备三个特征技术栈主流、业务闭环完整、有现成参考。而基于Django机器学习的电商评论情感分析恰好就是这类题目里的经典代表。它不花哨但五脏俱全有爬虫、有机器学习建模、有Web系统展示、有数据可视化既能展示工程能力又能秀算法基本功加上Django全家桶的高成熟度整套项目做下来无论是对就业面试还是毕业答辩都有拿得出手的素材。更现实的一点是这类项目网上有大量开源源码和教程配套的文档、调试服务也很成熟。对时间紧张、又要兼顾秋招春招的大四学生来说能在现有框架上二次开发和改造远比自己从零写一套稳定得多。这篇文章我就以这个题目为主线把选题价值、技术链路、核心实现、常见坑点、答辩技巧一次讲透希望能给正在纠结毕设的你提供一份能照着做的参考。1. 为什么这个题目值得做需求与收益拆解1.1 一道题同时覆盖硬实力和软交付毕业设计最怕的是什么不是题目难而是题目做完导师和评委看不出你的工作量。电商评论情感分析这个方向天然自带一条完整的业务链路数据采集爬虫/公开数据集→ 数据清洗与标注 → 特征工程 → 模型训练与评估 → Web系统集成 → 结果可视化。光是这条链路本身就能在答辩PPT里画出满满一页架构图每一环节都能单独展开讲。相比单纯做一个增删改查的管理系统它的算法属性会让答辩档次高不少。相比纯算法调参类题目它又有Web端交付物属于看得见摸得着的成果。评委问你这个项目解决了什么实际问题时你可以很自然地回答商家想知道用户对商品的态度是好评还是差评与其人工一条条看评论不如让模型自动打分再把结果聚合到后台看板里。这个逻辑是闭环的不需要编。1.2 技术栈选型为什么是Django机器学习有些同学看到机器学习就慌觉得肯定要搭复杂的TensorFlow、PyTorch环境。实际上针对文本情感分析这类任务传统的TF-IDF逻辑回归、朴素贝叶斯模型只要特征处理到位准确率完全可以达到85%以上而且训练快、部署轻你甚至可以用一台8GB内存的笔记本跑完全部流程。Django在这一环的优势在于它的ORM、Admin后台、模板系统、表单校验都开箱即用你不需要像SpringBoot那样写一堆配置才能启动。项目里所有模块——用户评论输入、模型预测接口、历史记录存储、统计图表渲染——都可以在Django里用Python直接完成省去了后端一套语言、算法另一套语言的对接成本。这也是为什么市面上大部分机器学习相关的Web毕设项目都选了Python系Web框架因为工程链路最短出问题最好排查。1.3 适合谁做难度如何我认为这个题目最理想的受众是已经学完Python基础、懂一点Django哪怕只写过博客教程、对机器学习停留在知道有监督和无监督程度的同学。做这个毕设的周期正常节奏是四周到六周每天保证两三个小时完全可以完成。如果你完全零基础以前只写过Java那我不建议直接硬上。不是说做不了而是你会在环境配置、Django路由、模板渲染这些细节上消耗大量时间最后项目虽然跑通了但对每个模块的原理其实说不清楚答辩时很容易被问穿。反过来如果你对机器学习已经比较熟可以考虑在这个题目上做增量比如引入BERT做情感分类、加入CNN文本分类、做细粒度情感维度分析这些都能显著提升课题的先进性和答辩加分项。2. 系统架构与功能设计2.1 整体技术架构拆解这个项目的标准技术架构可以分成四层数据层通过爬虫如requestsBeautifulSoup解析静态页面或Selenium处理动态渲染页面采集电商平台公开评论也可直接复用公开数据集如ChnSentiCorp先把原始评论文本落到本地CSV或SQLite保证后续程序启动时数据是可用的。算法层中文文本先做分词jieba、去停用词再通过TF-IDF向量化器把文本转成数值特征送入训练好的分类模型逻辑回归/朴素贝叶斯/SVM输出好评、中评、差评或正向、负向的概率值。服务层Django应用接收前端请求调用模型预测函数把结果写入MySQL或SQLite同时提供RESTful API方便后续扩展前端框架。展示层用Django模板BootstrapECharts实现用户输入文本即时预测、批量导入评论情感分析、后台统计报表好评率饼图、情感趋势折线图三大模块。Django在这套架构里既充当了后端服务又充当了算法服务的调用方。因为都是用Python写的整个调用链路没有跨语言开销开发效率极高。2.2 功能模块划分一个能顺利过审的功能清单我建议至少包含以下模块功能模块具体内容答辩要点说明商品评论采集支持键盘键入/文件上传/爬虫批量入库三种数据来源强调数据量、数据清洗规则情感分析引擎基于训练模型对单条/批量评论输出情感极性及置信度强调模型准确率、召回率对比评论管理后台Django Admin管理评论数据、标注结果、模型调用记录展示ORM数据建模能力可视化看板好评率统计、高频关键词词云、各商品对比柱状图反映数据分析能力用户登录与权限简易的注册登录区分普通用户和管理员体现Web工程完整性这五个模块做完你的系统就是一个可运行、可展示、可演示的完整应用而不是几个脚本的拼凑。2.3 为什么强调公开数据优先爬虫兼容网上很多教程一上来就是爬淘宝京东评论实操过的同学都知道淘宝的反爬非常强登录验证、滑块验证、商品详情接口加密你费半天劲可能只能爬到商品页的评分根本拿不到评论文本京东相对宽容但评论接口也需要带cookie和动态参数。真正等到4月份要交初稿的时候你会发现自己花了两周写的爬虫可能因为平台改版直接全线崩掉。所以我的建议是项目主流程一定要做成加载本地数据就能跑通爬虫只是加分项。先用开源的电商评论数据集如ChnSentiCorp酒店评论、线上购物评论把模型、Web系统先做出来确保主体功能稳定运行。等一切正常了再考虑加一个可选模块爬取某个允许公开数据的电商平台作为演示补充。这样就算爬虫失效你的核心演示也不受影响。3. 核心实现细节与实操步骤3.1 环境准备与项目初始化建议使用Python 3.8-3.10不要直接用最新版本有些依赖还没有适配Django推荐3.2 LTS版本这个版本稳定且官方支持周期长。MySQL可选装但为了省心初期用SQLite开发后期再迁移到MySQLDjango的ORM让你切换数据库几乎不用改代码。# 创建虚拟环境Windows或Linux均适用 python -m venv venv # 激活Windows venv\Scripts\activate # 激活Linux/Mac source venv/bin/activate # 安装核心依赖 pip install django3.2 pip install pandas numpy scikit-learn jieba pip install beautifulsoup4 requests lxml pip install pymysql # 如果你打算用MySQL pip install django-simpleui # 可选美化Admin后台接下来创建项目和应用django-admin startproject SentimentAnalysis cd SentimentAnalysis python manage.py startapp sentiment细节上记得在settings.py的INSTALLED_APPS里注册sentiment这个app然后配置数据库连接。如果是SQLite什么都不用改如果是MySQL需要在settings里额外配置DATABASES { default: { ENGINE: django.db.backends.mysql, NAME: sentiment_db, USER: root, PASSWORD: yourpassword, HOST: 127.0.0.1, PORT: 3306, } }3.2 数据准备的完整流程如果你选择用公开数据集这里需要做一个关键的预处理步骤。以网上流传较广的电商评论数据集为例原始文件往往是CSV格式包含评价内容和情感标签两列标签值有1和-1或2、1、0表示好评、中评、差评。你需要整理成模型能用的格式import pandas as pd df pd.read_csv(data/raw_comments.csv, encodingutf-8) # 统一列名去掉空值 df.columns [comment, label] df df.dropna(subset[comment]) # 标签映射假设原标签 1好评, 0中评, -1差评 df[label] df[label].map({1: 2, 0: 1, -1: 0}) # 转为0/1/2三分类 df.to_csv(data/cleaned_comments.csv, indexFalse, encodingutf-8) print(df[label].value_counts())做这一步的意义在于不同来源的数据集标注规则不一样如果不统一模型训练时会直接报错或精度异常。清洗完成后把数据按8:1:1切分为训练集、验证集、测试集切分时记得设置random_state固定随机种子保证实验可复现。3.3 中文文本特征工程和模型训练中文文本和英文的一个核心区别是英文天然用空格分词中文必须借助分词工具。这里我用jieba进行精确模式分词并构造TF-IDF特征。import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report import pandas as pd def cut_words(text): return .join(jieba.lcut(str(text), cut_allFalse)) df pd.read_csv(data/cleaned_comments.csv, encodingutf-8) df[cut_comment] df[comment].apply(cut_words) X_train, X_test, y_train, y_test train_test_split( df[cut_comment], df[label], test_size0.2, random_state42 ) vectorizer TfidfVectorizer(max_features5000) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) model LogisticRegression(max_iter1000) model.fit(X_train_vec, y_train) y_pred model.predict(X_test_vec) print(classification_report(y_test, y_pred))这里有几个关键点max_features5000词表不是越大越好设置为3000到8000之间通常能在训练速度和精度间获得平衡。特征过多会导致维度爆炸训练非常慢过少则丢失信息。逻辑回归在这个任务里往往比朴素贝叶斯效果好因为它对特征权重的拟合更灵活且带有概率输出方便Web端设置置信度阈值。如果训练集太小比如只有几百条别指望模型准确率能上90%这时候老实用朴素贝叶斯或者考虑数据增强。训练完成后用joblib把模型和向量化器保存到项目的model/目录下方便Django在启动时加载。import joblib joblib.dump(model, model/sentiment_model.pkl) joblib.dump(vectorizer, model/vectorizer.pkl)3.4 Django中集成模型的三种方式方案一一次性加载全局使用。在Django的apps.py里在ready()方法中加载模型保存到类变量。这是最常见的做法模型只加载一次不会拖慢每次请求。# sentiment/apps.py import os import joblib from django.apps import AppConfig class SentimentConfig(AppConfig): name sentiment model None vectorizer None def ready(self): base_dir os.path.dirname(os.path.dirname(os.path.abspath(__file__))) self.__class__.model joblib.load(os.path.join(base_dir, model/sentiment_model.pkl)) self.__class__.vectorizer joblib.load(os.path.join(base_dir, model/vectorizer.pkl))方案二每次请求动态加载。如果你改了模型文件想立即生效可以在视图函数里加载但代价是每次调用都有磁盘IO高并发时不可取演示环境勉强能用。方案三用Celery做异步预测。如果有大文件批量预测的需求为了避免页面长时间无响应可以把预测任务丢到Celery队列里。但毕设项目除非你刻意追求工程复杂度否则不建议上Celery徒增部署成本。我自己的做法是方案一然后在admin后台加了一个重新加载模型的按钮这样调试新模型时不用重启服务。3.5 前端结果展示与交互实现Django模板页面核心功能就三块输入框、预测按钮、结果展示区。前端通过AJAX提交文本到后端接口返回JSON格式的情感结果页面局部刷新。# sentiment/views.py from django.http import JsonResponse from django.views.decorators.csrf import csrf_exempt import jieba csrf_exempt def predict_api(request): if request.method POST: text request.POST.get(comment, ) if not text.strip(): return JsonResponse({code: 1, msg: 评论不能为空}) cut_text .join(jieba.lcut(text)) # SentimentConfig是上面定义的AppConfig from sentiment.apps import SentimentConfig vec SentimentConfig.vectorizer.transform([cut_text]) proba SentimentConfig.model.predict_proba(vec)[0] label int(SentimentConfig.model.predict(vec)[0]) # 假设 label 0差评, 1中评, 2好评 result_map {0: 差评, 1: 中评, 2: 好评} return JsonResponse({ code: 0, label: result_map[label], confidence: round(float(max(proba)), 4), prob: proba.tolist() }) return JsonResponse({code: 1, msg: 仅支持POST请求})注意里面用了csrf_exempt因为AJAX请求如果不带CSRF Token会默认被Django拦截返回403。虽然这是个快速调试的做法但生产环境或者正式答辩前我建议还是改成在AJAX头里带Token的方式这样评委可能会问你CSRF是什么你能答上来是一个小的加分点。页面上建议用ECharts的饼图展示历史分析结果比如所有预测过的评论中好评、中评、差评各占的比例。数据来源可以直接读Django模型里已保存的预测记录不需要额外复杂查询from django.db.models import Count from .models import AnalysisRecord def dashboard(request): records AnalysisRecord.objects.values(result).annotate(totalCount(id)) return render(request, dashboard.html, {records: list(records)})4. 基于源码二次开发与定制调试4.1 拿到一份开源项目源码后第一步该干什么很多同学从GitHub或网盘下载了Django机器学习情感分析源码打开文件夹时是茫然的。先别急着python manage.py runserver按下面的顺序做能帮你省掉一半的报错时间先看requirements.txt用pip install -r requirements.txt安装依赖。如果没有这个文件就根据代码里的import反向推断依赖。再检查项目里有没有db.sqlite3数据库文件如果有通常说明作者已经把开发数据打包进项目了启动后能看到现成的页面数据如果没有需要先执行python manage.py migrate建表。然后检查settings.py里数据库配置是否指向本地如果作者用的是MySQL你没有MySQL要改成SQLite或者按他提供的脚本建库。最后确认模型文件pkl是否存在这个很关键。很多源码发布者不会上传训练好的模型文件因为文件体积大。如果缺失你需要自己跑一遍训练脚本重新生成。4.2 源码改造的三个可行方向直接照搬源码交毕设评委看穿的风险很大工科学校通常还有查重环节。在源码基础上做二次改造既能减少工作量又能让你的成果有差异化。我提供三个方向都是低成本高回报的方向一把二分类改成三分类。原项目如果只有正向/负向两种结果你可以加入中性这一分类重新整理数据和训练模型整个系统的分析和展示逻辑都要同步调整工作量适中且答辩时很好讲。方向二增加商品维度的聚合分析。在预测结果的模型里加上商品名称字段之后按商品分组展示不同商品的好评率排名。这样就从一个单纯的情感分析工具升级成了一个商品口碑对比系统业务价值更丰满。方向三引入深度学习模型做对比。不替换原有模型而是额外训练一个基于LSTM或TextCNN的情感分类模型在系统的模型对比页面展示两个模型在同一测试集上的准确率、召回率对比。深度学习模型用Keras实现也就几十行代码但整个项目的技术先进性能明显提升。4.3 调试定制服务为什么值得关注在商品详情页里经常能看到调试定制服务这几个字很多学生第一反应是又要额外花钱是不是坑。以我这些年见过的情况来说这个服务本质上买的是确定性。毕设项目卡住时最难受的不是问题本身难而是你完全不知道问题出在哪。环境变量不对、Python版本不兼容、数据库驱动缺失、依赖包版本冲突每一个都可能让你卡两三天。有一名能远程协助、告诉你你这报错是因为缺少pymysql装一下就行的人效率完全是两个级别。我的建议是先自己尝试遇到问题记录下完整报错信息再去求助。求助时把报错截图、Django版本、操作系统环境这三样信息发过去基本10分钟内能得到有效答复。不要一上来就让人远程帮你从头搭环境那既体现不出你自己的操作能力你也学不到东西。5. 高频问题排查与答辩经验补充5.1 实操中遇到的高频问题速查表问题现象原因解决方案ModuleNotFoundError: No module named MySQLdb缺少MySQL驱动pip install pymysql并在项目__init__.py中加import pymysql; pymysql.install_as_MySQLdb()django.core.exceptions.ImproperlyConfigured环境变量或数据库配置错误检查settings.py中DATABASES、SECRET_KEY是否有值模型预测全部输出同一个标签模型训练数据严重不平衡或分词特征没生效检查类别分布考虑对多数类欠采样检查TfidfVectorizer是否用了训练后的对象重新拟合页面加载慢一次请求几秒每次请求都在重新加载模型或分词器按3.4节的方案一在AppConfig中初始化模型中文乱码CSV文件编码不一致统一用utf-8-sig读取带BOM的CSV写入时指定encodingutf-8403 Forbiddenon AJAXCSRF校验未通过要么在发送时带CSRFToken要么临时用csrf_exempt爬虫被反爬拦截User-Agent、频率、验证码问题降低抓取频率修改UA优先使用公开数据集替代其中模型预测全部输出同一个标签这个问题我在带学生时遇到最多。原因十有八九是训练时用了vectorizer.fit_transform(train_data)预测时却错误地调用了vectorizer.fit_transform(single_text)导致特征空间完全不一致。正确做法是预测时必须使用同一个vectorizer.transform。5.2 答辩时会被问到的重点问题答辩不是看你项目跑得多顺而是看你有没有真正理解系统每一层在干什么。下面这些问题建议你提前准备好答案为什么选择逻辑回归而不是深度学习模型——回答思路逻辑回归在中小规模文本分类任务上性能足够训练时间短、可解释性强深度学习模型需要大规模数据和GPU资源本次数据量不足会导致过拟合。如果觉得不够可以补充我尝试了LSTM作为对比实验效果虽有提升但幅度不大考虑到Web系统需要快速响应最终选用了逻辑回归。TF-IDF的原理是什么——回答思路TF衡量词在文档中出现的频率IDF衡量词在多少文档中出现过稀有词的IDF高、常见词如的、了的IDF低两者相乘得到词权重。一句话总结衡量一个词对某篇文档的重要程度。如果评论是表情符号或英文你的系统能处理吗——回答思路当前预处理主要针对中文文本表情符号会被jieba分词过滤掉英文会被小写化后纳入TF-IDF特征。如果要改进可以增加表情符号映射为情感分值等逻辑。诚实承认局限并给出改进思路比硬撑效果更好。系统的准确性如何衡量——回答思路准确率、精确率、召回率、F1值用测试集的混淆矩阵展示。5.3 在最后阶段补充的个人扩展心得如果你的时间还剩一周我的建议是不要贪多把基础功能打磨到极致数据集规模更大一点、模型准确率对比图表更完整、页面加载更快、代码命名更规范。一个整体干净整洁、没有任何红字报错、每一步都能讲清楚原因的项目远比一个堆了无数花哨功能却没法顺畅演示的项目更容易拿高分。就我自己带项目的感受来说Django机器学习这个组合之所以能成为经典毕设方向恰恰是因为它有巨大的容错空间你基础薄弱可以做标准的流水线实现你有更高追求可以从模型、架构、可视化三个层面不断加码。它是一道下限不低、上限很高的题目也是少数能让你在秋招简历上写出独立完成情感分析Web系统开发这种确定性成果的项目类型。最后再分享一个小技巧无论你最终从哪个渠道获得了源码拿到手第一件事请你建一个git仓库先把原始版本提交一次。后面你每改一个功能点就提交一次。这样不但可以帮你留下清晰的开发记录万一某次改坏了还能随时回滚到可用版本。毕设做的是工程工程就容不得改坏了没法收场的意外。祝各位都能顺顺利利搞定毕设给自己的大学生涯画一个干净的句号。
