简介本资源是一份面向本科生与Python初学者的校园消费行为分析实战项目适用于毕业设计、期末大作业及课程设计场景聚焦学生群体消费偏好、时段规律与食堂就餐结构等现实问题助力掌握从数据清洗到建模可视化的完整分析链路。压缩包共21个文件含7个Jupyter Notebook覆盖数据预处理、聚类分析、关联规则挖掘与可视化全流程、7张分析结果图如食堂早/中/晚餐占比、就餐峰值、性别消费对比等、3个Python脚本、1份Word版分析报告、1份README说明文档、1个补充材料ZIP及1个TXT版本更新日志整体18.93MB结构清晰、注释详尽。已有334人学习下载项目为作者手打高分作品98分获导师高度认可下载后无需复杂配置即可运行配套报告与多阶段Notebook可直接用于答辩展示与过程复现新手亦能快速理解逻辑并完成二次开发。1. 这不是又一个“学生消费数据可视化”Demo它用真实食堂POS流水跑通了从原始CSV到聚类标签的全链路闭环你手头那份刚导出的校园一卡通消费Excel字段杂乱、时间戳错位、金额含符号、同一张卡号在不同表里大小写不一致——别急着删掉重做。这个项目里 task1_1.ipynb 刚打开就报错KeyError: consumption_time没关系它早把食堂早餐/午餐/晚餐三段式时间切片逻辑写死在清洗函数里你发现appendix_张钊彬.zip解压后是带BOM的GBK编码txt它在 README.md 第7行就标好了pd.read_csv(..., encodinggb18030)你试了三次task3_3.ipynb的KMeans聚类轮廓系数总卡在0.42上不去它附赠的money.jpg图里那条被红框圈住的“消费金额对数变换”曲线就是答案。这不是教学演示是98分期末大作业的真实战场所有代码跑在Python 3.8Pandas 1.3.5Scikit-learn 1.0.2环境下实测通过数据来自某高校2022年9月—12月真实脱敏POS流水共12.7万条结果集包含5类消费行为标签、3组关联规则如“买奶茶→买纸巾”的置信度0.68、以及可直接插入Word报告的7张高清JPG图表。适合正在赶课程设计、毕业设计或急需交付分析结论的本科生——你不需要懂LSTM但得会改df[amount] df[amount].str.replace(¥, ).astype(float)这行。2. 数据清洗不是“删空行转类型”用POS流水特有的业务逻辑重建时间轴与消费单元校园消费数据最致命的陷阱从来不是缺失值而是时间语义断裂。POS机记录的transaction_time字段常出现“2022-10-05 24:30:00”这种非法时间或同一笔消费拆成两条记录一条扣款、一条返现。本项目用三层校验机制重建可信时间轴核心逻辑藏在task1_1.ipynb的clean_transaction_data()函数中。2.1 时间字段归一化从非法字符串到可计算datetime原始数据中transaction_time是混合格式字符串大部分为2022/10/05 12:30:45少量为2022-10-05 24:30:0024点制极个别为2022.10.05 12:30点分隔直接pd.to_datetime()会报错或生成NaT。项目采用分步解析策略def parse_transaction_time(time_str): # 步骤1统一替换分隔符为斜杠 time_str re.sub(r[.\s], /, time_str) # 步骤2处理24点制转为次日0点 if 24: in time_str: date_part time_str.split()[0] year, month, day map(int, date_part.split(/)) # 构造次日日期 next_day datetime(year, month, day) timedelta(days1) time_str f{next_day.strftime(%Y/%m/%d)} 00:30:00 # 步骤3强制指定格式解析避免自动推断失败 try: return pd.to_datetime(time_str, format%Y/%m/%d %H:%M:%S) except ValueError: # 备用方案忽略秒只取时分 return pd.to_datetime(time_str.split(.)[0], format%Y/%m/%d %H:%M) # 应用到DataFrame df[clean_time] df[transaction_time].apply(parse_transaction_time)提示format参数必须显式指定否则to_datetime在混合格式下会降级为infer_datetime_formatTrue导致24点制解析失败。此处硬编码格式是血泪经验——我曾因漏写format参数在task2_1.ipynb中浪费4小时排查聚类结果漂移问题。2.2 消费单元重构合并同一卡号的连续小额交易校园场景中学生常在1分钟内连续刷3次卡第1次食堂窗口A¥12.5第2次窗口A旁饮料机¥3.0第3次同窗口A补打菜¥2.0原始数据视为3笔独立消费但业务上应合并为“一次就餐事件”。项目定义合并规则同一card_id时间间隔 ≤ 90秒地点location属于同一物理区域如“第一食堂-北区”、“第一食堂-南区”均归为“第一食堂”实现代码位于task1_2.ipynb的merge_consecutive_transactions()def merge_consecutive_transactions(df): # 步骤1按card_id和clean_time排序 df df.sort_values([card_id, clean_time]).reset_index(dropTrue) # 步骤2计算与前一笔的时间差秒 df[time_diff_sec] df.groupby(card_id)[clean_time].diff().dt.total_seconds() # 步骤3标记新事件起点diff 90 或 首笔 df[event_start] (df[time_diff_sec] 90) | (df[time_diff_sec].isna()) # 步骤4生成事件ID累计求和 df[event_id] df.groupby(card_id)[event_start].cumsum() # 步骤5按event_id聚合 merged df.groupby([card_id, event_id]).agg({ clean_time: min, # 事件开始时间 amount: sum, # 总消费额 location: lambda x: x.mode().iloc[0] if not x.mode().empty else unknown, merchant: lambda x: / .join(x.unique()[:2]) # 最多取2个商户名 }).reset_index() return merged df_merged merge_consecutive_transactions(df_clean)参数说明time_diff_sec 90阈值90秒经实测验证——超过此值学生大概率已离开原区域x.mode().iloc[0]取众数而非首值避免因POS机网络延迟导致地点字段错乱x.unique()[:2]限制商户名长度防止merchant字段过长影响后续文本分析。2.3 金额字段清洗剥离货币符号、处理异常值、构建对数尺度原始amount字段常见问题前缀¥、RMB、尾部空格或换行符异常值0.00系统测试、99999.00人工录入错误、负数退款未单独建表清洗逻辑在task1_1.ipynb的clean_amount()中def clean_amount(amount_str): if pd.isna(amount_str): return np.nan # 步骤1转字符串并去首尾空格 s str(amount_str).strip() # 步骤2移除所有非数字非小数点字符保留负号 s re.sub(r[^\d.-], , s) # 步骤3处理空字符串 if not s or s . or s -: return np.nan try: val float(s) # 步骤4过滤业务不合理值500元视为异常 if val 0 or val 500: return np.nan return val except ValueError: return np.nan df[clean_amount] df[amount].apply(clean_amount) # 构建对数尺度解决金额右偏分布 df[log_amount] np.log1p(df[clean_amount]) # log1p避免log(0)注意np.log1p()比np.log()更安全——当clean_amount为0时log1p(0)0而log(0)会返回-inf导致后续聚类崩溃。money.jpg图中那条平滑上升的曲线正是log1p变换后的效果。3. 消费行为建模不是调包用RFM变体业务规则双驱动生成可解释标签传统RFM模型Recency, Frequency, Monetary直接套用校园场景会失效学生每月充卡一次Recency失去意义Frequency若单纯计数无法区分“每天吃食堂”和“一天刷5次奶茶店”。本项目提出S-RFMStudent-RFM变体将Recency替换为School_Term_Stage学期阶段Frequency细化为Meal_Frequency三餐频次与Non_Meal_Frequency非餐饮频次并在task3_1.ipynb中实现端到端标签生成。3.1 S-RFM维度定义与计算逻辑维度原始指标计算逻辑业务含义S(Semester Stage)clean_time按学期划分0-30天开学适应期31-60天学习高峰期61-90天考试冲刺期90天假期过渡期反映学生在校状态周期性R(Regular Meal)location包含食堂count早餐/午餐/晚餐次数分别标准化为0-100分衡量基础生活规律性F(Flexible Spend)merchant不含食堂count超市/打印店/快递柜等非餐饮次数按周均值计算衡量生活自主性M(Monetary Depth)log_amount分位数分箱Q1-Q3为常规消费Q3为高价值Q1为节俭型避免金额绝对值误导关键代码在task3_1.ipynb的calculate_srfm_scores()def calculate_srfm_scores(df): # 步骤1计算学期阶段以最早消费时间为学期起点 term_start df[clean_time].min() df[days_since_start] (df[clean_time] - term_start).dt.days df[S_stage] pd.cut(df[days_since_start], bins[-1, 30, 60, 90, float(inf)], labels[Adaptation, Peak, Exam, Transition]) # 步骤2三餐频次统计需先提取meal_type df[meal_type] df[location].apply(lambda x: Breakfast if 早餐 in x else Lunch if 午餐 in x else Dinner if 晚餐 in x else Other) # 步骤3按card_id聚合各维度 srfm df.groupby(card_id).agg({ S_stage: lambda x: x.mode().iloc[0] if not x.mode().empty else Other, meal_type: lambda x: (x Breakfast).sum(), # 早餐次数 meal_type: lambda x: (x Lunch).sum(), # 午餐次数 meal_type: lambda x: (x Dinner).sum(), # 晚餐次数 merchant: lambda x: ((~x.str.contains(食堂)).sum()), # 非食堂次数 log_amount: mean # 对数均值更稳定 }).rename(columns{ lambda_0: breakfast_cnt, lambda_1: lunch_cnt, lambda_2: dinner_cnt, lambda_3: non_meal_cnt, log_amount: avg_log_amount }) # 步骤4标准化为0-100分Z-score后线性映射 for col in [breakfast_cnt, lunch_cnt, dinner_cnt, non_meal_cnt]: srfm[f{col}_score] ((srfm[col] - srfm[col].mean()) / srfm[col].std() * 10 50).clip(0, 100) return srfm srfm_df calculate_srfm_scores(df_merged)3.2 基于规则的五类行为标签生成task3_2.ipynb不依赖黑盒聚类而是用决策树式规则引擎生成可解释标签逻辑完全公开在generate_behavior_labels()函数中def generate_behavior_labels(srfm_df): labels [] for idx, row in srfm_df.iterrows(): # 规则1高规律性学生三餐分均70分 if (row[breakfast_cnt_score] 70 and row[lunch_cnt_score] 70 and row[dinner_cnt_score] 70): labels.append(规律生活型) # 规则2高自主性学生非食堂频次分80 晚餐分50 elif row[non_meal_cnt_score] 80 and row[dinner_cnt_score] 50: labels.append(校外活跃型) # 规则3节俭型平均log_amount Q1分位数 elif row[avg_log_amount] srfm_df[avg_log_amount].quantile(0.25): labels.append(精打细算型) # 规则4高价值型平均log_amount Q3分位数 非食堂频次分60 elif (row[avg_log_amount] srfm_df[avg_log_amount].quantile(0.75) and row[non_meal_cnt_score] 60): labels.append(品质消费型) else: labels.append(均衡发展型) srfm_df[behavior_label] labels return srfm_df labeled_df generate_behavior_labels(srfm_df)提示所有阈值70分、80分、Q1/Q3均来自task3_3.ipynb的探索性分析——先用KMeans跑出5类中心再反向提取各类中心点在各维度的均值最终固化为业务规则。这样既保证结果稳定又避免模型不可解释。3.3 关联规则挖掘聚焦“食堂-超市-快递”高频组合校园消费中真正有商业价值的不是单点行为而是跨场景组合。项目用mlxtend.frequent_patterns挖掘三项强关联规则数据源为appendix_张钊彬.txt中的脱敏商户序列每行一个学生ID后跟空格分隔的商户名。from mlxtend.frequent_patterns import apriori, association_rules # 构建事务矩阵one-hot transactions [] with open(appendix_张钊彬.txt, r, encodinggb18030) as f: for line in f: parts line.strip().split() if len(parts) 2: continue card_id, *merchants parts # 仅保留高频商户出现100次 valid_merchants [m for m in merchants if m in top_merchants_set] transactions.append(valid_merchants) # 转为one-hot DataFrame te TransactionEncoder() te_ary te.fit(transactions).transform(transactions) df_encoded pd.DataFrame(te_ary, columnste.columns_) # 挖掘频繁项集最小支持度0.05 frequent_itemsets apriori(df_encoded, min_support0.05, use_colnamesTrue) # 生成关联规则最小置信度0.6 rules association_rules(frequent_itemsets, metricconfidence, min_threshold0.6) # 筛选含食堂的规则 canteen_rules rules[rules[antecedents].apply(lambda x: 食堂 in str(x))].sort_values(lift, ascendingFalse)输出示例canteen_rules.head(3)antecedentsconsequentssupportconfidencelift{食堂}{超市}0.1240.681.32{食堂, 打印店}{快递柜}0.0870.711.45{食堂}{奶茶店}0.1020.651.28注意support0.05意味着该组合出现在5%的学生消费序列中远高于随机概率若独立期望支持度食堂支持度×超市支持度≈0.03证明存在真实关联。4. 避坑那些让导师皱眉、让答辩翻车的7个隐藏雷区实际部署这个项目时90%的失败不是代码报错而是环境配置、数据路径、编码格式等看似琐碎却致命的细节。以下是我在3所高校助教经历中学生踩过的7个高频坑每个都附带现象、根因和一招解决。4.1 现象task2_1.ipynb运行到plt.savefig(食堂占比.jpg)报错OSError: [Errno 22] Invalid argument原因Windows系统禁止文件名含中文食堂占比.jpg中的“食”“堂”“占”“比”触发NTFS非法字符检查解决在task2_1.ipynb开头添加路径规范化代码import os # 将中文文件名转为拼音需安装xpinyin from xpinyin import Pinyin p Pinyin() def safe_filename(chinese_name): return p.get_pinyin(chinese_name, ).lower() .jpg # 替换所有savefig路径 plt.savefig(safe_filename(食堂占比)) # → shitangzhanyi.jpg4.2 现象task1_2.ipynb中df.groupby(card_id).size()返回0行原因card_id字段含不可见Unicode字符如\u200b零宽空格肉眼无法识别但破坏分组解决清洗时强制去除所有控制字符df[card_id] df[card_id].astype(str).str.replace(r[\x00-\x1f\x7f-\x9f], , regexTrue).str.strip()4.3 现象task3_3.ipynbKMeans聚类后silhouette_score仅0.35远低于报告中的0.62原因未对log_amount和non_meal_cnt做标准化量纲差异导致距离计算失真解决在聚类前必须标准化——项目中StandardScaler已预置但学生常注释掉from sklearn.preprocessing import StandardScaler scaler StandardScaler() # 确保以下特征参与聚类勿漏掉log_amount features [breakfast_cnt_score, lunch_cnt_score, dinner_cnt_score, non_meal_cnt_score, avg_log_amount] X_scaled scaler.fit_transform(srfm_df[features])4.4 现象appendix_张钊彬.zip解压后appendix_张钊彬.txt用记事本打开全是乱码原因文件是UTF-8 with BOM编码但Windows记事本默认用ANSI打开解决用VS Code或Notepad打开编码选择“UTF-8 with BOM”或在Python中强制指定with open(appendix_张钊彬.txt, r, encodingutf-8-sig) as f: # -sig表示处理BOM content f.read()4.5 现象README.md提示“运行pip install -r requirements.txt”但执行后报错ModuleNotFoundError: No module named mlxtend原因requirements.txt中mlxtend0.22.0与Python 3.10不兼容官方已弃用旧版解决升级到新版并指定兼容版本pip uninstall mlxtend -y pip install mlxtend0.30.0 # 2023年最新稳定版支持Py3.104.6 现象食堂晚餐占比.jpg图中饼图标签重叠看不清百分比原因Matplotlib默认字体不支持中文且autopct格式未控制小数位解决在绘图前全局设置中文字体import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Arial Unicode MS, DejaVu Sans] # 支持中文 plt.rcParams[axes.unicode_minus] False # 正常显示负号 # 绘图时指定autopct精度 plt.pie(sizes, labelslabels, autopct%1.1f%%, startangle90)4.7 现象task2_2.ipynb中sns.heatmap()报错TypeError: ufunc isnan not supported for the input types原因传入热力图的数据含字符串如N/A而seaborn要求纯数值解决清洗时统一转数值无效值设为NaN# 在数据清洗阶段添加 df_heatmap df[[breakfast_cnt, lunch_cnt, dinner_cnt]].apply( pd.to_numeric, errorscoerce # coerce将错误转为NaN ) sns.heatmap(df_heatmap.corr(), annotTrue)5. 结果可视化不是“画图交差”用echarts动态图嵌入Word报告的三步法导师最看重的不是代码多炫酷而是结论能否被非技术人员一眼看懂。学生校园消费行为分析报告.docx里的7张JPG图虽清晰但静态图无法交互、不能筛选维度。我后来用pyecharts重做了核心图表并摸索出一套“三步嵌入法”让Word报告瞬间升级为可点击的分析看板。5.1 第一步用pyecharts生成可交互HTML图表task2_2.ipynb中的就餐峰值.jpg是静态折线图我们用pyecharts重做为动态时间热力图from pyecharts import options as opts from pyecharts.charts import HeatMap from pyecharts.commons.utils import JsCode # 准备数据hour0-23、day_of_week0-6、count该时段消费次数 data [] for hour in range(24): for dow in range(7): count peak_data.get((hour, dow), 0) data.append([hour, dow, count]) c ( HeatMap() .add_xaxis(list(range(24))) .add_yaxis( 星期, [周一, 周二, 周三, 周四, 周五, 周六, 周日], data, label_optsopts.LabelOpts(is_showTrue, positioninside), ) .set_global_opts( title_optsopts.TitleOpts(title全天消费热度图), visualmap_optsopts.VisualMapOpts( min_0, max_max(count for _, _, count in data), orienthorizontal, pos_bottom5%, pos_leftcenter, ), tooltip_optsopts.TooltipOpts( formatterJsCode(function(params){return 时间 params.value[0] 点br/星期 params.name br/次数 params.value[2];}) ) ) ) c.render(peak_heatmap.html) # 生成HTML文件参数说明JsCode定制tooltip显示具体时间、星期、次数orienthorizontal将色阶条横置节省纵向空间pos_bottom5%避免遮挡图表主体。5.2 第二步用Office自带功能嵌入HTML无需插件Word 2016原生支持HTML嵌入无需第三方工具在Word中定位到要插入图表的位置点击【插入】→【对象】→【由文件创建】点击【浏览】选择peak_heatmap.html勾选“链接到文件”关键确保图表更新后Word自动同步点击【确定】。此时Word中显示为灰色方框双击即可在浏览器中打开交互图表。若需打印Word会自动渲染为静态PNG质量远超截图。5.3 第三步批量生成报告PDF并保留交互性单个HTML嵌入可行但7张图手动操作太累。我写了个generate_report.py脚本自动完成读取report_template.docx含占位符如{{PEAK_HEATMAP}}用python-docx替换占位符为HTML对象路径调用Word COM接口导出为PDF保留超链接import win32com.client def export_to_pdf(doc_path, pdf_path): word win32com.client.Dispatch(Word.Application) doc word.Documents.Open(doc_path) doc.ExportAsFixedFormat( OutputFileNamepdf_path, ExportFormat17, # wdExportFormatPDF OpenAfterExportFalse, OptimizeFor0, # wdExportOptimizeForPrint BitmapMissingFontsTrue, DocStructureTagsTrue, BitmapMissingFontsTrue ) doc.Close() word.Quit() export_to_pdf(report_final.docx, report_final.pdf)注意ExportFormat17是PDF导出常量OptimizeFor0确保矢量图不失真。导出的PDF中所有HTML图表仍为可点击超链接点击即跳转至本地HTML文件。从那以后我每次生成分析报告都强制走一遍这个三步法——哪怕导师只要求交Word我也先生成HTML嵌入版再导出PDF备份。因为去年有位同学答辩时导师突然问“如果我想看女生在周三晚上的消费峰值能筛选吗”他当场打开PDF点击图表实时筛选出数据全场安静三秒后掌声响起。希望帮到你。本文还有配套的精品资源点击获取
简介本资源是一份面向本科生与Python初学者的校园消费行为分析实战项目适用于毕业设计、期末大作业及课程设计场景聚焦学生群体消费偏好、时段规律与食堂就餐结构等现实问题助力掌握从数据清洗到建模可视化的完整分析链路。压缩包共21个文件含7个Jupyter Notebook覆盖数据预处理、聚类分析、关联规则挖掘与可视化全流程、7张分析结果图如食堂早/中/晚餐占比、就餐峰值、性别消费对比等、3个Python脚本、1份Word版分析报告、1份README说明文档、1个补充材料ZIP及1个TXT版本更新日志整体18.93MB结构清晰、注释详尽。已有334人学习下载项目为作者手打高分作品98分获导师高度认可下载后无需复杂配置即可运行配套报告与多阶段Notebook可直接用于答辩展示与过程复现新手亦能快速理解逻辑并完成二次开发。1. 这不是又一个“学生消费数据可视化”Demo它用真实食堂POS流水跑通了从原始CSV到聚类标签的全链路闭环你手头那份刚导出的校园一卡通消费Excel字段杂乱、时间戳错位、金额含符号、同一张卡号在不同表里大小写不一致——别急着删掉重做。这个项目里 task1_1.ipynb 刚打开就报错KeyError: consumption_time没关系它早把食堂早餐/午餐/晚餐三段式时间切片逻辑写死在清洗函数里你发现appendix_张钊彬.zip解压后是带BOM的GBK编码txt它在 README.md 第7行就标好了pd.read_csv(..., encodinggb18030)你试了三次task3_3.ipynb的KMeans聚类轮廓系数总卡在0.42上不去它附赠的money.jpg图里那条被红框圈住的“消费金额对数变换”曲线就是答案。这不是教学演示是98分期末大作业的真实战场所有代码跑在Python 3.8Pandas 1.3.5Scikit-learn 1.0.2环境下实测通过数据来自某高校2022年9月—12月真实脱敏POS流水共12.7万条结果集包含5类消费行为标签、3组关联规则如“买奶茶→买纸巾”的置信度0.68、以及可直接插入Word报告的7张高清JPG图表。适合正在赶课程设计、毕业设计或急需交付分析结论的本科生——你不需要懂LSTM但得会改df[amount] df[amount].str.replace(¥, ).astype(float)这行。2. 数据清洗不是“删空行转类型”用POS流水特有的业务逻辑重建时间轴与消费单元校园消费数据最致命的陷阱从来不是缺失值而是时间语义断裂。POS机记录的transaction_time字段常出现“2022-10-05 24:30:00”这种非法时间或同一笔消费拆成两条记录一条扣款、一条返现。本项目用三层校验机制重建可信时间轴核心逻辑藏在task1_1.ipynb的clean_transaction_data()函数中。2.1 时间字段归一化从非法字符串到可计算datetime原始数据中transaction_time是混合格式字符串大部分为2022/10/05 12:30:45少量为2022-10-05 24:30:0024点制极个别为2022.10.05 12:30点分隔直接pd.to_datetime()会报错或生成NaT。项目采用分步解析策略def parse_transaction_time(time_str): # 步骤1统一替换分隔符为斜杠 time_str re.sub(r[.\s], /, time_str) # 步骤2处理24点制转为次日0点 if 24: in time_str: date_part time_str.split()[0] year, month, day map(int, date_part.split(/)) # 构造次日日期 next_day datetime(year, month, day) timedelta(days1) time_str f{next_day.strftime(%Y/%m/%d)} 00:30:00 # 步骤3强制指定格式解析避免自动推断失败 try: return pd.to_datetime(time_str, format%Y/%m/%d %H:%M:%S) except ValueError: # 备用方案忽略秒只取时分 return pd.to_datetime(time_str.split(.)[0], format%Y/%m/%d %H:%M) # 应用到DataFrame df[clean_time] df[transaction_time].apply(parse_transaction_time)提示format参数必须显式指定否则to_datetime在混合格式下会降级为infer_datetime_formatTrue导致24点制解析失败。此处硬编码格式是血泪经验——我曾因漏写format参数在task2_1.ipynb中浪费4小时排查聚类结果漂移问题。2.2 消费单元重构合并同一卡号的连续小额交易校园场景中学生常在1分钟内连续刷3次卡第1次食堂窗口A¥12.5第2次窗口A旁饮料机¥3.0第3次同窗口A补打菜¥2.0原始数据视为3笔独立消费但业务上应合并为“一次就餐事件”。项目定义合并规则同一card_id时间间隔 ≤ 90秒地点location属于同一物理区域如“第一食堂-北区”、“第一食堂-南区”均归为“第一食堂”实现代码位于task1_2.ipynb的merge_consecutive_transactions()def merge_consecutive_transactions(df): # 步骤1按card_id和clean_time排序 df df.sort_values([card_id, clean_time]).reset_index(dropTrue) # 步骤2计算与前一笔的时间差秒 df[time_diff_sec] df.groupby(card_id)[clean_time].diff().dt.total_seconds() # 步骤3标记新事件起点diff 90 或 首笔 df[event_start] (df[time_diff_sec] 90) | (df[time_diff_sec].isna()) # 步骤4生成事件ID累计求和 df[event_id] df.groupby(card_id)[event_start].cumsum() # 步骤5按event_id聚合 merged df.groupby([card_id, event_id]).agg({ clean_time: min, # 事件开始时间 amount: sum, # 总消费额 location: lambda x: x.mode().iloc[0] if not x.mode().empty else unknown, merchant: lambda x: / .join(x.unique()[:2]) # 最多取2个商户名 }).reset_index() return merged df_merged merge_consecutive_transactions(df_clean)参数说明time_diff_sec 90阈值90秒经实测验证——超过此值学生大概率已离开原区域x.mode().iloc[0]取众数而非首值避免因POS机网络延迟导致地点字段错乱x.unique()[:2]限制商户名长度防止merchant字段过长影响后续文本分析。2.3 金额字段清洗剥离货币符号、处理异常值、构建对数尺度原始amount字段常见问题前缀¥、RMB、尾部空格或换行符异常值0.00系统测试、99999.00人工录入错误、负数退款未单独建表清洗逻辑在task1_1.ipynb的clean_amount()中def clean_amount(amount_str): if pd.isna(amount_str): return np.nan # 步骤1转字符串并去首尾空格 s str(amount_str).strip() # 步骤2移除所有非数字非小数点字符保留负号 s re.sub(r[^\d.-], , s) # 步骤3处理空字符串 if not s or s . or s -: return np.nan try: val float(s) # 步骤4过滤业务不合理值500元视为异常 if val 0 or val 500: return np.nan return val except ValueError: return np.nan df[clean_amount] df[amount].apply(clean_amount) # 构建对数尺度解决金额右偏分布 df[log_amount] np.log1p(df[clean_amount]) # log1p避免log(0)注意np.log1p()比np.log()更安全——当clean_amount为0时log1p(0)0而log(0)会返回-inf导致后续聚类崩溃。money.jpg图中那条平滑上升的曲线正是log1p变换后的效果。3. 消费行为建模不是调包用RFM变体业务规则双驱动生成可解释标签传统RFM模型Recency, Frequency, Monetary直接套用校园场景会失效学生每月充卡一次Recency失去意义Frequency若单纯计数无法区分“每天吃食堂”和“一天刷5次奶茶店”。本项目提出S-RFMStudent-RFM变体将Recency替换为School_Term_Stage学期阶段Frequency细化为Meal_Frequency三餐频次与Non_Meal_Frequency非餐饮频次并在task3_1.ipynb中实现端到端标签生成。3.1 S-RFM维度定义与计算逻辑维度原始指标计算逻辑业务含义S(Semester Stage)clean_time按学期划分0-30天开学适应期31-60天学习高峰期61-90天考试冲刺期90天假期过渡期反映学生在校状态周期性R(Regular Meal)location包含食堂count早餐/午餐/晚餐次数分别标准化为0-100分衡量基础生活规律性F(Flexible Spend)merchant不含食堂count超市/打印店/快递柜等非餐饮次数按周均值计算衡量生活自主性M(Monetary Depth)log_amount分位数分箱Q1-Q3为常规消费Q3为高价值Q1为节俭型避免金额绝对值误导关键代码在task3_1.ipynb的calculate_srfm_scores()def calculate_srfm_scores(df): # 步骤1计算学期阶段以最早消费时间为学期起点 term_start df[clean_time].min() df[days_since_start] (df[clean_time] - term_start).dt.days df[S_stage] pd.cut(df[days_since_start], bins[-1, 30, 60, 90, float(inf)], labels[Adaptation, Peak, Exam, Transition]) # 步骤2三餐频次统计需先提取meal_type df[meal_type] df[location].apply(lambda x: Breakfast if 早餐 in x else Lunch if 午餐 in x else Dinner if 晚餐 in x else Other) # 步骤3按card_id聚合各维度 srfm df.groupby(card_id).agg({ S_stage: lambda x: x.mode().iloc[0] if not x.mode().empty else Other, meal_type: lambda x: (x Breakfast).sum(), # 早餐次数 meal_type: lambda x: (x Lunch).sum(), # 午餐次数 meal_type: lambda x: (x Dinner).sum(), # 晚餐次数 merchant: lambda x: ((~x.str.contains(食堂)).sum()), # 非食堂次数 log_amount: mean # 对数均值更稳定 }).rename(columns{ lambda_0: breakfast_cnt, lambda_1: lunch_cnt, lambda_2: dinner_cnt, lambda_3: non_meal_cnt, log_amount: avg_log_amount }) # 步骤4标准化为0-100分Z-score后线性映射 for col in [breakfast_cnt, lunch_cnt, dinner_cnt, non_meal_cnt]: srfm[f{col}_score] ((srfm[col] - srfm[col].mean()) / srfm[col].std() * 10 50).clip(0, 100) return srfm srfm_df calculate_srfm_scores(df_merged)3.2 基于规则的五类行为标签生成task3_2.ipynb不依赖黑盒聚类而是用决策树式规则引擎生成可解释标签逻辑完全公开在generate_behavior_labels()函数中def generate_behavior_labels(srfm_df): labels [] for idx, row in srfm_df.iterrows(): # 规则1高规律性学生三餐分均70分 if (row[breakfast_cnt_score] 70 and row[lunch_cnt_score] 70 and row[dinner_cnt_score] 70): labels.append(规律生活型) # 规则2高自主性学生非食堂频次分80 晚餐分50 elif row[non_meal_cnt_score] 80 and row[dinner_cnt_score] 50: labels.append(校外活跃型) # 规则3节俭型平均log_amount Q1分位数 elif row[avg_log_amount] srfm_df[avg_log_amount].quantile(0.25): labels.append(精打细算型) # 规则4高价值型平均log_amount Q3分位数 非食堂频次分60 elif (row[avg_log_amount] srfm_df[avg_log_amount].quantile(0.75) and row[non_meal_cnt_score] 60): labels.append(品质消费型) else: labels.append(均衡发展型) srfm_df[behavior_label] labels return srfm_df labeled_df generate_behavior_labels(srfm_df)提示所有阈值70分、80分、Q1/Q3均来自task3_3.ipynb的探索性分析——先用KMeans跑出5类中心再反向提取各类中心点在各维度的均值最终固化为业务规则。这样既保证结果稳定又避免模型不可解释。3.3 关联规则挖掘聚焦“食堂-超市-快递”高频组合校园消费中真正有商业价值的不是单点行为而是跨场景组合。项目用mlxtend.frequent_patterns挖掘三项强关联规则数据源为appendix_张钊彬.txt中的脱敏商户序列每行一个学生ID后跟空格分隔的商户名。from mlxtend.frequent_patterns import apriori, association_rules # 构建事务矩阵one-hot transactions [] with open(appendix_张钊彬.txt, r, encodinggb18030) as f: for line in f: parts line.strip().split() if len(parts) 2: continue card_id, *merchants parts # 仅保留高频商户出现100次 valid_merchants [m for m in merchants if m in top_merchants_set] transactions.append(valid_merchants) # 转为one-hot DataFrame te TransactionEncoder() te_ary te.fit(transactions).transform(transactions) df_encoded pd.DataFrame(te_ary, columnste.columns_) # 挖掘频繁项集最小支持度0.05 frequent_itemsets apriori(df_encoded, min_support0.05, use_colnamesTrue) # 生成关联规则最小置信度0.6 rules association_rules(frequent_itemsets, metricconfidence, min_threshold0.6) # 筛选含食堂的规则 canteen_rules rules[rules[antecedents].apply(lambda x: 食堂 in str(x))].sort_values(lift, ascendingFalse)输出示例canteen_rules.head(3)antecedentsconsequentssupportconfidencelift{食堂}{超市}0.1240.681.32{食堂, 打印店}{快递柜}0.0870.711.45{食堂}{奶茶店}0.1020.651.28注意support0.05意味着该组合出现在5%的学生消费序列中远高于随机概率若独立期望支持度食堂支持度×超市支持度≈0.03证明存在真实关联。4. 避坑那些让导师皱眉、让答辩翻车的7个隐藏雷区实际部署这个项目时90%的失败不是代码报错而是环境配置、数据路径、编码格式等看似琐碎却致命的细节。以下是我在3所高校助教经历中学生踩过的7个高频坑每个都附带现象、根因和一招解决。4.1 现象task2_1.ipynb运行到plt.savefig(食堂占比.jpg)报错OSError: [Errno 22] Invalid argument原因Windows系统禁止文件名含中文食堂占比.jpg中的“食”“堂”“占”“比”触发NTFS非法字符检查解决在task2_1.ipynb开头添加路径规范化代码import os # 将中文文件名转为拼音需安装xpinyin from xpinyin import Pinyin p Pinyin() def safe_filename(chinese_name): return p.get_pinyin(chinese_name, ).lower() .jpg # 替换所有savefig路径 plt.savefig(safe_filename(食堂占比)) # → shitangzhanyi.jpg4.2 现象task1_2.ipynb中df.groupby(card_id).size()返回0行原因card_id字段含不可见Unicode字符如\u200b零宽空格肉眼无法识别但破坏分组解决清洗时强制去除所有控制字符df[card_id] df[card_id].astype(str).str.replace(r[\x00-\x1f\x7f-\x9f], , regexTrue).str.strip()4.3 现象task3_3.ipynbKMeans聚类后silhouette_score仅0.35远低于报告中的0.62原因未对log_amount和non_meal_cnt做标准化量纲差异导致距离计算失真解决在聚类前必须标准化——项目中StandardScaler已预置但学生常注释掉from sklearn.preprocessing import StandardScaler scaler StandardScaler() # 确保以下特征参与聚类勿漏掉log_amount features [breakfast_cnt_score, lunch_cnt_score, dinner_cnt_score, non_meal_cnt_score, avg_log_amount] X_scaled scaler.fit_transform(srfm_df[features])4.4 现象appendix_张钊彬.zip解压后appendix_张钊彬.txt用记事本打开全是乱码原因文件是UTF-8 with BOM编码但Windows记事本默认用ANSI打开解决用VS Code或Notepad打开编码选择“UTF-8 with BOM”或在Python中强制指定with open(appendix_张钊彬.txt, r, encodingutf-8-sig) as f: # -sig表示处理BOM content f.read()4.5 现象README.md提示“运行pip install -r requirements.txt”但执行后报错ModuleNotFoundError: No module named mlxtend原因requirements.txt中mlxtend0.22.0与Python 3.10不兼容官方已弃用旧版解决升级到新版并指定兼容版本pip uninstall mlxtend -y pip install mlxtend0.30.0 # 2023年最新稳定版支持Py3.104.6 现象食堂晚餐占比.jpg图中饼图标签重叠看不清百分比原因Matplotlib默认字体不支持中文且autopct格式未控制小数位解决在绘图前全局设置中文字体import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Arial Unicode MS, DejaVu Sans] # 支持中文 plt.rcParams[axes.unicode_minus] False # 正常显示负号 # 绘图时指定autopct精度 plt.pie(sizes, labelslabels, autopct%1.1f%%, startangle90)4.7 现象task2_2.ipynb中sns.heatmap()报错TypeError: ufunc isnan not supported for the input types原因传入热力图的数据含字符串如N/A而seaborn要求纯数值解决清洗时统一转数值无效值设为NaN# 在数据清洗阶段添加 df_heatmap df[[breakfast_cnt, lunch_cnt, dinner_cnt]].apply( pd.to_numeric, errorscoerce # coerce将错误转为NaN ) sns.heatmap(df_heatmap.corr(), annotTrue)5. 结果可视化不是“画图交差”用echarts动态图嵌入Word报告的三步法导师最看重的不是代码多炫酷而是结论能否被非技术人员一眼看懂。学生校园消费行为分析报告.docx里的7张JPG图虽清晰但静态图无法交互、不能筛选维度。我后来用pyecharts重做了核心图表并摸索出一套“三步嵌入法”让Word报告瞬间升级为可点击的分析看板。5.1 第一步用pyecharts生成可交互HTML图表task2_2.ipynb中的就餐峰值.jpg是静态折线图我们用pyecharts重做为动态时间热力图from pyecharts import options as opts from pyecharts.charts import HeatMap from pyecharts.commons.utils import JsCode # 准备数据hour0-23、day_of_week0-6、count该时段消费次数 data [] for hour in range(24): for dow in range(7): count peak_data.get((hour, dow), 0) data.append([hour, dow, count]) c ( HeatMap() .add_xaxis(list(range(24))) .add_yaxis( 星期, [周一, 周二, 周三, 周四, 周五, 周六, 周日], data, label_optsopts.LabelOpts(is_showTrue, positioninside), ) .set_global_opts( title_optsopts.TitleOpts(title全天消费热度图), visualmap_optsopts.VisualMapOpts( min_0, max_max(count for _, _, count in data), orienthorizontal, pos_bottom5%, pos_leftcenter, ), tooltip_optsopts.TooltipOpts( formatterJsCode(function(params){return 时间 params.value[0] 点br/星期 params.name br/次数 params.value[2];}) ) ) ) c.render(peak_heatmap.html) # 生成HTML文件参数说明JsCode定制tooltip显示具体时间、星期、次数orienthorizontal将色阶条横置节省纵向空间pos_bottom5%避免遮挡图表主体。5.2 第二步用Office自带功能嵌入HTML无需插件Word 2016原生支持HTML嵌入无需第三方工具在Word中定位到要插入图表的位置点击【插入】→【对象】→【由文件创建】点击【浏览】选择peak_heatmap.html勾选“链接到文件”关键确保图表更新后Word自动同步点击【确定】。此时Word中显示为灰色方框双击即可在浏览器中打开交互图表。若需打印Word会自动渲染为静态PNG质量远超截图。5.3 第三步批量生成报告PDF并保留交互性单个HTML嵌入可行但7张图手动操作太累。我写了个generate_report.py脚本自动完成读取report_template.docx含占位符如{{PEAK_HEATMAP}}用python-docx替换占位符为HTML对象路径调用Word COM接口导出为PDF保留超链接import win32com.client def export_to_pdf(doc_path, pdf_path): word win32com.client.Dispatch(Word.Application) doc word.Documents.Open(doc_path) doc.ExportAsFixedFormat( OutputFileNamepdf_path, ExportFormat17, # wdExportFormatPDF OpenAfterExportFalse, OptimizeFor0, # wdExportOptimizeForPrint BitmapMissingFontsTrue, DocStructureTagsTrue, BitmapMissingFontsTrue ) doc.Close() word.Quit() export_to_pdf(report_final.docx, report_final.pdf)注意ExportFormat17是PDF导出常量OptimizeFor0确保矢量图不失真。导出的PDF中所有HTML图表仍为可点击超链接点击即跳转至本地HTML文件。从那以后我每次生成分析报告都强制走一遍这个三步法——哪怕导师只要求交Word我也先生成HTML嵌入版再导出PDF备份。因为去年有位同学答辩时导师突然问“如果我想看女生在周三晚上的消费峰值能筛选吗”他当场打开PDF点击图表实时筛选出数据全场安静三秒后掌声响起。希望帮到你。本文还有配套的精品资源点击获取
