简介面向大学编程课程与 Python 数据分析初学者这份压缩包收录了一个基于网易云音乐歌单场景的完整分析项目从 requests 爬取歌单数据到 pandas 清洗整理再到 matplotlib、squarify、wordcloud 等库绘制评论、收藏、播放、贡献分布图与词云并附带歌单优化建议便于读者快速理解数据可视化的完整流程。包内共 39 个文件以 12 个 py 源文件、7 张 png 结果图、3 个 csv 数据文件为主另有 pyc、md、pdf、ttf 字体等辅助说明整体约 10.53MB目录结构适合按模块对照学习。该项目来自天津科技大学 2022 年结课作业同时提供 README 说明和 PDF 报告适合参考课程设计、结课作业或数据分析实战练习。已有 3342 人学习下载代码与文档配套完整可帮助巩固 numpy、pandas、matplotlib 等常用模块的使用方法并迁移到其他数据可视化项目。1. 大学编程作业选网易云歌单做 Python 数据分析为什么这条路最容易出成果每到期末Python 课的编程作业里最难的不是写代码而是选题。老师要看到一条完整的分析链路可学生手里往往只有一本讲语法的基础教材。网易云音乐的歌单分析正好把这条路补全了歌单、歌曲、歌手、标签、播放量、收藏数这些字段天然就是为数据分析和数据可视化准备的而且用网页版的公开接口就能拿不需要复杂的登录流程。我基于 Python 做的这套“网易云音乐歌单分析系统”本质就是一条“采集—清洗—可视化”的流水线先用 requests 抓取歌单列表和歌曲明细再用 pandas 整理成分析表最后用 matplotlib、PyECharts 和词云输出排名、分布和标签图。它不追求算法深度但能把数据分析初探项目该有的步骤完整覆盖是大学编程作业里性价比最高的一类选题。2. 数据从哪来网易云网页版的公开入口和三个原始字段2.1 先定分析口径歌单列表、歌曲明细、评论热度拿到一个网易云歌单分析系统先别急着写爬虫第一件事是定边界你最终要展示什么结论我做这类课程项目时习惯分成三张原始表来规划。第一张是歌单概览表包含歌单名称、标签、播放量、收藏数、创建者用来回答“什么样的歌单最受欢迎”。第二张是歌曲明细表来自歌单详情接口包含歌曲名、歌手、专辑、时长用来回答“热门歌单里谁露脸最多”。第三张是评论热度表包含单曲的评论总量和高频词用来回答“大家听歌时在聊什么”。不要一上来就想做千人千面的推荐算法作业评分的核心是数据量够不够、分析步骤是否完整、可视化是不是直观。三张表对应三个接口数据量控制在几百条到上千条已经足够支撑一份像样的课程报告。如果选歌单一口气抓几十个分类反而会把自己卷进数据清洗的泥潭。我一般建议固定抓“全部”分类下的热门歌单再做两个垂直分类比如“华语”“欧美”作为对比这样既有横向数量又有纵向差异。2.2 抓歌单列表解析网页里的 window.INITIAL_STATE歌单列表最稳定的做法是抓网易云音乐网页版「发现音乐 歌单」页面然后从 HTML 里提取初始状态。网易云的网页版会在一段script标签里塞一个window.__INITIAL_STATE__的 JSON 字符串页面首屏要渲染的数据全在里面。下面的代码就是干这件事的import requests import json import re import time import pandas as pd HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36, Referer: https://music.163.com/, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8 } def fetch_playlist_page(cat全部, offset0, limit35): url (fhttps://music.163.com/discover/playlist/ f?orderhotcat{cat}limit{limit}offset{offset}) resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() html resp.text start html.find(window.__INITIAL_STATE__) len(window.__INITIAL_STATE__) end html.find(;(function, start) if start -1 or end -1: raise ValueError(未找到初始状态网页结构可能已调整) json_str html[start:end] return json.loads(json_str)代码先把 URL 按网易云网页版的参数拼出来cat对应歌单分类offset是分页偏移量limit是每页数量。拿到响应后用html.find定位window.__INITIAL_STATE__的起始位置再找它后面的;(function作为结束边界中间那一段就是完整的 JSON。这里没用正则匹配大括号因为 JSON 里嵌套的{}太多正则容易在第一个右括号就断掉字符串定位反而更稳。调用一次返回的数据里歌单列表在json_data[playlist][playlists]这个层级。每个歌单对象里有id、name、playCount、bookCount、tags等字段。把 offset 从 0、35、70 这样递增就能翻页拿几百个歌单。注意每翻一页time.sleep(1)把请求频率降下来避免触发风控。2.3 抓歌曲明细调用 playlist/detail 接口有了歌单 id 之后歌曲明细从/api/v6/playlist/detail接口拿。这个接口返回的是纯 JSON不用再解析 HTML直接用resp.json()就能得到字典结构。歌曲数组在playlist.tracks下数组里每一项就是一首完整的歌def fetch_playlist_detail(playlist_id): url fhttps://music.163.com/api/v6/playlist/detail?id{playlist_id}updateTime-1 resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() data resp.json() tracks data.get(playlist, {}).get(tracks, []) playlist_info data.get(playlist, {}) rows [] for t in tracks: rows.append({ song_id: t.get(id), title: t.get(name), artists: 、.join(a.get(name, ) for a in t.get(ar, [])), album: (t.get(al) or {}).get(name, ), duration_ms: t.get(dt, 0), playlist_id: playlist_id, playlist_name: playlist_info.get(name, ), play_count: playlist_info.get(playCount, 0), }) return rows这里的tracks是歌曲明细的主数据源。ar字段是歌手列表可能有多位歌手所以用join拼成“歌手A、歌手B”的格式al是专辑对象取name做专辑名dt是毫秒时长。最后把歌单自身的信息也带进行里这样每一首歌都知道自己来自哪个歌单方便后面回答“某个歌单里的歌有什么共性”。这里有一个新手容易忽略的点一个歌单详情接口一次最多返回 1000 首对作业足够用但接口没有显式的分页参数想拿超过 1000 首的完整歌单就没办法。做课设时建议每个歌单只保留前 300 首数据量已经足够画图也避免请求时间过长。2.4 抓评论热度resource/comments 接口评论接口是https://music.163.com/api/v1/resource/comments/R_SO_4_{song_id}R_SO_4_是歌曲评论资源的前缀{song_id}替换成歌曲 id。这个接口返回 JSON里面有total评论总数和comments第一页评论数组。对作业来说评论总数可以作为歌曲热度指标评论内容可以用来做词云def fetch_comments(song_id, limit20): url (fhttps://music.163.com/api/v1/resource/comments/ fR_SO_4_{song_id}?offset0limit{limit}) resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() data resp.json() if data.get(code) ! 200: return [], 0 comments data.get(comments, []) total data.get(total, 0) comment_texts [c.get(content, ) for c in comments] return comment_texts, total拿到评论内容后把comment_texts直接存储到文件里后面用 jieba 分词做高频词统计。total作为评论数字段可以在清洗阶段和播放量一起做相关性分析。注意不是每一首歌都有评论老歌、纯音乐、小众歌曲的total可能是 0代码要对返回结构做get兜底否则一首歌就把整个循环打断。到这里三张原始表的素材已经齐了歌单列表、歌曲明细、评论内容。接下来把它们落成 CSV 文件时最常翻车的是编码问题后面专门有一章说这个坑。3. 从 JSON 到分析表pandas 清洗与三个必做动作3.1 拍平嵌套数据把 tracks 和 playlists 拉平成行从接口拿回来的数据是 list[dict] 结构没法直接做统计分析。第一步是把它转成 DataFrame。这里不需要复杂操作直接pd.DataFrame(rows)就行真正的工作在于统一字段和去重def build_song_table(playlist_ids): all_rows [] for pid in playlist_ids: rows fetch_playlist_detail(pid) all_rows.extend(rows) time.sleep(0.8) df pd.DataFrame(all_rows) df df.drop_duplicates(subset[song_id, playlist_id]) df df.dropna(subset[song_id, title]) return dfdrop_duplicates的去重对象是song_id playlist_id的组合键。如果同一首歌出现在两个歌单里这两个组合键是不冲突的歌曲可以被保留两次因为分析维度是“歌单里的歌曲”不是“全网唯一歌曲”。如果你想要的是歌手维度的统计那么同一首歌重复出现会导致歌手计数虚高这时候就要再按song_id单独去一次重。拍平之后要检查一个东西artist字段里可能有空字符串。网易云的某些歌曲没有标注歌手清洗时把这类行过滤掉避免后续按歌手分组时出现一堆 “(unknown)”。3.2 字段标准化时长、数量单位三个硬处理原始接口给的数据有两个地方不友好dt是毫秒playCount是数字但单位不直观。下面的清洗代码把毫秒换算成分钟并生成一个更可读的播放量文本字段import numpy as np df[duration_min] (df[duration_ms] / 60000).round(2) df[play_count_text] df[play_count].apply( lambda x: f{x / 10000:.1f}万 if x 10000 else str(x) ) # 过滤异常时长超过 60 分钟或小于 30 秒的歌曲基本是异常数据 df df[(df[duration_min] 0.5) (df[duration_min] 60)]第一行把毫秒转成分钟并保留两位小数这是画分布图时最容易解释的字段。第二行生成了一个展示用的文本字段适合放在柱状图的数据标签上视觉上更接近网易云页面的表达方式。第三行是异常值过滤直播录音、空音频、错误上传会导致时长极端把 30 秒到 60 分钟之外的数据全扔掉。注意一个细节play_count是歌单的播放量不是单曲的播放量。一首歌会带它所属歌单的播放量所以分析歌曲热度时这个字段只能代表“这首歌出现在多热的歌单里”不能代表歌曲本身多火。课程报告里要把这个口径写清楚否则答辩时老师一问你“播放量到底是谁的播放量”容易卡壳。3.3 构造分析维度流行度分层、歌手聚合、标签拆分原始字段只够画简单图表要做出“有分析味道”的结论必须构造新字段。我一般做三个加工播放量分层、歌手拆分、标签展开。播放量分层用pd.cut把连续值变成类别值比如“冷门、普通、热门、爆款”四个档位歌手拆分是把artists按“、”切分后explode展开这样每个歌手占一行方便直接value_counts标签拆分同理bins [0, 10000, 100000, 1000000, np.inf] labels [冷门, 普通, 热门, 爆款] df[popularity_level] pd.cut( df[play_count], binsbins, labelslabels, rightFalse ) # 按歌手拆分一个歌手占一行 df_singer ( df.assign(artist_listdf[artists].str.split(、)) .explode(artist_list) .query(artist_list ! ) ) # 歌单标签拆分标签原始值是 [华语, 民谣] 这种列表 df_tags ( df.assign(tag_listdf[tags].apply(eval)) .explode(tag_list) .dropna(subset[tag_list]) )df.assign加一列列表再用explode把列表拍平成多行这是 pandas 里做“一对多”分析的标准打法。拆分之后数一下每个歌手出现的行数就能得到“被分析歌单里最常出现的歌手 Top 10”数一下每个标签的行数就能得到“这个歌单分类下最常见的标签分布”。这三个加工维度做完可画的图从十张变成三十张横轴可以是歌手、标签、时长区间、热度分层纵轴可以是歌曲数、平均播放量、评论总数。一份课程报告的图表量基本够了而且每个图表都有明确的业务含义。4. 一张图拿一个分matplotlib、PyECharts、词云三层可视化4.1 排名类图表matplotlib 横向柱状图可视化是网易云歌单分析系统最容易被老师看见的部分。我习惯先用 matplotlib 出静态图因为它是 Python 数据分析课程里最常用的库代码短、效果稳、不依赖浏览器。第一张图做“播放量 Top 10 歌单”的横向柱状图import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False top df.drop_duplicates(subset[playlist_id]).nlargest(10, play_count) fig, ax plt.subplots(figsize(10, 6)) ax.barh(top[playlist_name], top[play_count]) ax.set_xlabel(播放量) ax.set_title(播放量 Top 10 歌单) ax.invert_yaxis() fig.tight_layout() fig.savefig(output/top10_playlist.png, dpi150)nlargest(10, play_count)先取播放量最大的 10 个歌单。横向柱状图的好处是歌单名称是长文本纵向排列会被截断横向可以完整显示。invert_yaxis把最大的放在第一行符合阅读习惯。SimHei 是中文字体的关键设置Windows 系统一般自带macOS 要改成PingFang SC。如果说图表能再提升一档那就是把每根柱子上的数值标出来ax.bar_label(ax.containers[0])这样老师不用盯着坐标轴读数字图表自解释程度更高。数据标签的字体大小建议 9 到 11超过 12 在大图里反而显得拥挤。4.2 交互式图表PyECharts 标签排名和组合页面matplotlib 适合放在论文和 PPT 里但现场演示时交互式图表更容易出效果。PyECharts 是当前 Python 数据可视化课程里常见的选择它生成 HTML 文件浏览器打开后可以悬浮看数据、缩放、切换系列。下面用 Bar 做一个歌单分类的标签分布图from pyecharts.charts import Bar from pyecharts import options as opts tag_count df_tags[tag_list].value_counts().head(10) bar ( Bar(init_optsopts.InitOpts(width900px, height500px)) .add_xaxis(tag_count.index.tolist()) .add_yaxis(歌单数量, tag_count.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(title歌单分类标签 Top 10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate30)), yaxis_optsopts.AxisOpts(name歌单数量) ) ) bar.render(output/tag_bar.html)PyECharts 的写法是链式调用add_xaxis加横轴类目add_yaxis加数值系列set_global_opts设置标题和坐标轴。rotate30让横轴的标签倾斜 30 度防止两个长标签叠在一起。渲染产物是一个独立的 HTML 文件浏览器打开即用。还可以把多个图组合到一个页面里。PyECharts 的Tab类可以创建带标签页的仪表盘把播放量 Top 歌单、歌手频次、评论总数分布都放进同一份 HTML。交作业时只需要提交一个 HTML 文件演示效果比三张静态图连着放要完整得多。4.3 歌单标签词云jieba WordCloud 的中文字体问题词云是网易云歌单分析系统里最有视觉冲击力的图适合用来呈现评论热词或歌单标签的分布。它把文字频率映射成字号大小高频词字体大、低频词字体小。这里用 jieba 分词加 WordCloud 生成import jieba from wordcloud import WordCloud # 把评论内容拼成一个大文本 comment_corpus .join(all_comment_texts) words .join(jieba.cut(comment_corpus)) wc WordCloud( font_pathC:/Windows/Fonts/simhei.ttf, width800, height600, background_colorwhite, max_words200, collocationsFalse ).generate(words) wc.to_file(output/comment_wordcloud.png)jieba.cut会把一整段中文切词切完再拼回空格分隔的文本因为 WordCloud 需要词和词之间用空格隔开。font_path是中文显示的关键不指定字体文件的话词云里所有中文字符都会变成方框。线段Windows 用simhei.ttfmacOS 用/System/Library/Fonts/PingFang.ttcLinux 用/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc。collocationsFalse用来关闭词组自动组合否则“不是”“没有”这类相邻词会被错误地合成一个词。词云适合展示但不适合当作唯一证据。老师如果问“这个分析说明了什么”你要给出词频统计的表格来配合让词云从“好看”变成“可验证”。我一般同时保留comments_texts的原始内容统计 Top 20 高频词做成表格放进报告附录。4.4 把图表放进一份报告文件目录建议静态图和 HTML 图表的产物不要散落在一堆文件夹里按下面的结构组织提交作业时最清爽project/ ├── data/ │ ├── playlists.csv │ ├── songs.csv │ └── comments.txt ├── output/ │ ├── top10_playlist.png │ ├── tag_bar.html │ ├── dashboard.html │ └── comment_wordcloud.png ├── crawler.py ├── clean.py └── visualize.pydata目录放清洗后的结构化数据output目录放所有图表产物三个 Python 文件按职责拆分crawler 管采集、clean 管清洗、visualize 管出图。这种结构符合数据分析初探项目的预期也方便在答辩时现场把整个流程再跑一遍。5. 这份作业最容易翻车的 5 个坑现象、原因、解决5.1 正则匹配不到初始状态现象写好的爬虫第一次能跑第二次报ValueError: 未找到初始状态或者解析出来的 JSON 是空的。原因window.__INITIAL_STATE__的结束边界不是固定的。有的页面后面跟;(function有的跟;window更常见的是页面结构改版后整段结构都变了。另外请求被风控时网页会返回一个验证页面里面根本没有初始状态。解决先不要直接解析把resp.text保存成debug.html用文本编辑器搜索__INITIAL_STATE__肉眼确认它存在再写解析逻辑。同时把结束边界放宽到“找到__INITIAL_STATE__后从下一个;开始往前找 JSON 的完整结束位置”我一般直接用括号配对算法来定位大括号而不是依赖固定的关键词。5.2 requests 请求被 403 拦截现象代码前几十次请求正常后面突然连续返回 403或者返回的 JSON 里code是-460。原因短时间请求频率过高被服务端风控识别。User-Agent太简略比如默认的python-requests也会在第一轮就触发拦截。解决把User-Agent和Referer写进 HEADERS参考浏览器开发工具里的真实请求头每次请求之间time.sleep(0.5)起步翻页时建议 1 到 2 秒。更稳的做法是用同一个requests.Session()对象发起请求让它复用连接行为更接近浏览器。如果全部加了仍然 403就从浏览器复制完整的Cookie字段塞进 HEADERS 再试。5.3 CSV 打开后中文乱码现象用 pandas 写出的 CSV用 Excel 打开是乱码用记事本打开正常。原因df.to_csv默认编码是 UTF-8但 Excel 在 Windows 上默认用 GBK 打开 CSVUTF-8 没有 BOM 头时它不认。解决写文件时统一用encodingutf-8-sig这个编码会在文件开头加一段 BOM 标记Excel 就能正确识别中文。另外一行很关键indexFalse否则 CSV 第一列会多出一行行号后面读回去时多一个没用的列。df_song.to_csv(data/songs.csv, indexFalse, encodingutf-8-sig)5.4 WordCloud 输出全是方框现象词云生成的图片能打开但里面的中文全部是豆腐块一样的方框。原因WordCloud 默认字体不支持中文它在绘制字符时找不到对应的字形就画一个方框代替。解决WordCloud构造函数里必须传入font_path指定系统中文字体的绝对路径。Windows 常见路径是C:/Windows/Fonts/simhei.ttf但也要确认系统装了对应字体。macOS 用PingFang.ttc这个文件是 ttc 格式WordCloud 也能读。如果服务器上没有中文字体从自己的开发机把字体文件复制到项目目录用相对路径引用。5.5 PyECharts 渲染出空白页面现象render()生成 HTML 后浏览器打开是白屏或者页面上只有标题没有图表。原因新版 PyECharts 的图表依赖外部 JS 库如果 HTML 是用默认 CDN 引用脚本在学校机房、无外网环境或浏览器安全策略限制下就无法加载另一个常见原因是脚本版本和echarts.min.js版本不匹配。解决在init_opts里指定Opts.InitOpts(assets_host)改成离线模式它会尝试生成内嵌资源或者直接把网页保存为完整格式再手动把 echarts.min.js 下载到本地放进项目目录。最省事的做法是用 PyECharts 生成 HTML 后直接截图放进报告把 HTML 留作演示备用不依赖现场网络环境。6. 交作业前做一次全流程回放验证口径和提升演示效果整个系统的数据链条长任何一个环节出错都可能导致图表和结论对不上。我交作业前会做一次回放验证把项目目录里的.py文件从上到下依次跑一遍每跑完一步就检查产物文件是否更新。回放时最常发现的问题是“口径不一致”歌曲明细表里的play_count是歌单维度而评论表里的total是歌曲维度如果把它们直接放在一张图里比较结论会失真。我用一个简单的输出文件清单来做核对歌单概览表对歌单列表接口歌曲明细表对歌曲详情接口评论文本对评论接口一张表对应一个数据源互不混用。如果回放中途中断优先把当前步骤的数据转储为 CSV 而不是重新跑全流程这样能定位是采集挂了还是清洗挂了。数据口径确认之后再做演示提升。我会在output目录里放一个dashboard.html用 PyECharts 的Tab整合四个图播放量 Top 歌单、歌手频次、时长分布、词云。静态图片用于论文Dashboard 用于答辩现场展示。展示时先讲结论再讲图“从标签分词可以看出民谣和华语的歌单数量明显偏高”比“这里有一张词云图”听起来像分析而不是报菜名。这几次翻车也成了我的固定习惯抓取入口一定封装成函数入参只有分类和页数这样换数据源只需要改一个参数代码里不写死歌单 id而是从上一张表的输出读取保证整个系统可复现。希望这份网易云歌单分析系统能帮你把 Python 数据分析初探项目的每一步踩实祝你这门课的编程作业顺利过关。本文还有配套的精品资源点击获取
简介面向大学编程课程与 Python 数据分析初学者这份压缩包收录了一个基于网易云音乐歌单场景的完整分析项目从 requests 爬取歌单数据到 pandas 清洗整理再到 matplotlib、squarify、wordcloud 等库绘制评论、收藏、播放、贡献分布图与词云并附带歌单优化建议便于读者快速理解数据可视化的完整流程。包内共 39 个文件以 12 个 py 源文件、7 张 png 结果图、3 个 csv 数据文件为主另有 pyc、md、pdf、ttf 字体等辅助说明整体约 10.53MB目录结构适合按模块对照学习。该项目来自天津科技大学 2022 年结课作业同时提供 README 说明和 PDF 报告适合参考课程设计、结课作业或数据分析实战练习。已有 3342 人学习下载代码与文档配套完整可帮助巩固 numpy、pandas、matplotlib 等常用模块的使用方法并迁移到其他数据可视化项目。1. 大学编程作业选网易云歌单做 Python 数据分析为什么这条路最容易出成果每到期末Python 课的编程作业里最难的不是写代码而是选题。老师要看到一条完整的分析链路可学生手里往往只有一本讲语法的基础教材。网易云音乐的歌单分析正好把这条路补全了歌单、歌曲、歌手、标签、播放量、收藏数这些字段天然就是为数据分析和数据可视化准备的而且用网页版的公开接口就能拿不需要复杂的登录流程。我基于 Python 做的这套“网易云音乐歌单分析系统”本质就是一条“采集—清洗—可视化”的流水线先用 requests 抓取歌单列表和歌曲明细再用 pandas 整理成分析表最后用 matplotlib、PyECharts 和词云输出排名、分布和标签图。它不追求算法深度但能把数据分析初探项目该有的步骤完整覆盖是大学编程作业里性价比最高的一类选题。2. 数据从哪来网易云网页版的公开入口和三个原始字段2.1 先定分析口径歌单列表、歌曲明细、评论热度拿到一个网易云歌单分析系统先别急着写爬虫第一件事是定边界你最终要展示什么结论我做这类课程项目时习惯分成三张原始表来规划。第一张是歌单概览表包含歌单名称、标签、播放量、收藏数、创建者用来回答“什么样的歌单最受欢迎”。第二张是歌曲明细表来自歌单详情接口包含歌曲名、歌手、专辑、时长用来回答“热门歌单里谁露脸最多”。第三张是评论热度表包含单曲的评论总量和高频词用来回答“大家听歌时在聊什么”。不要一上来就想做千人千面的推荐算法作业评分的核心是数据量够不够、分析步骤是否完整、可视化是不是直观。三张表对应三个接口数据量控制在几百条到上千条已经足够支撑一份像样的课程报告。如果选歌单一口气抓几十个分类反而会把自己卷进数据清洗的泥潭。我一般建议固定抓“全部”分类下的热门歌单再做两个垂直分类比如“华语”“欧美”作为对比这样既有横向数量又有纵向差异。2.2 抓歌单列表解析网页里的 window.INITIAL_STATE歌单列表最稳定的做法是抓网易云音乐网页版「发现音乐 歌单」页面然后从 HTML 里提取初始状态。网易云的网页版会在一段script标签里塞一个window.__INITIAL_STATE__的 JSON 字符串页面首屏要渲染的数据全在里面。下面的代码就是干这件事的import requests import json import re import time import pandas as pd HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36, Referer: https://music.163.com/, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8 } def fetch_playlist_page(cat全部, offset0, limit35): url (fhttps://music.163.com/discover/playlist/ f?orderhotcat{cat}limit{limit}offset{offset}) resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() html resp.text start html.find(window.__INITIAL_STATE__) len(window.__INITIAL_STATE__) end html.find(;(function, start) if start -1 or end -1: raise ValueError(未找到初始状态网页结构可能已调整) json_str html[start:end] return json.loads(json_str)代码先把 URL 按网易云网页版的参数拼出来cat对应歌单分类offset是分页偏移量limit是每页数量。拿到响应后用html.find定位window.__INITIAL_STATE__的起始位置再找它后面的;(function作为结束边界中间那一段就是完整的 JSON。这里没用正则匹配大括号因为 JSON 里嵌套的{}太多正则容易在第一个右括号就断掉字符串定位反而更稳。调用一次返回的数据里歌单列表在json_data[playlist][playlists]这个层级。每个歌单对象里有id、name、playCount、bookCount、tags等字段。把 offset 从 0、35、70 这样递增就能翻页拿几百个歌单。注意每翻一页time.sleep(1)把请求频率降下来避免触发风控。2.3 抓歌曲明细调用 playlist/detail 接口有了歌单 id 之后歌曲明细从/api/v6/playlist/detail接口拿。这个接口返回的是纯 JSON不用再解析 HTML直接用resp.json()就能得到字典结构。歌曲数组在playlist.tracks下数组里每一项就是一首完整的歌def fetch_playlist_detail(playlist_id): url fhttps://music.163.com/api/v6/playlist/detail?id{playlist_id}updateTime-1 resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() data resp.json() tracks data.get(playlist, {}).get(tracks, []) playlist_info data.get(playlist, {}) rows [] for t in tracks: rows.append({ song_id: t.get(id), title: t.get(name), artists: 、.join(a.get(name, ) for a in t.get(ar, [])), album: (t.get(al) or {}).get(name, ), duration_ms: t.get(dt, 0), playlist_id: playlist_id, playlist_name: playlist_info.get(name, ), play_count: playlist_info.get(playCount, 0), }) return rows这里的tracks是歌曲明细的主数据源。ar字段是歌手列表可能有多位歌手所以用join拼成“歌手A、歌手B”的格式al是专辑对象取name做专辑名dt是毫秒时长。最后把歌单自身的信息也带进行里这样每一首歌都知道自己来自哪个歌单方便后面回答“某个歌单里的歌有什么共性”。这里有一个新手容易忽略的点一个歌单详情接口一次最多返回 1000 首对作业足够用但接口没有显式的分页参数想拿超过 1000 首的完整歌单就没办法。做课设时建议每个歌单只保留前 300 首数据量已经足够画图也避免请求时间过长。2.4 抓评论热度resource/comments 接口评论接口是https://music.163.com/api/v1/resource/comments/R_SO_4_{song_id}R_SO_4_是歌曲评论资源的前缀{song_id}替换成歌曲 id。这个接口返回 JSON里面有total评论总数和comments第一页评论数组。对作业来说评论总数可以作为歌曲热度指标评论内容可以用来做词云def fetch_comments(song_id, limit20): url (fhttps://music.163.com/api/v1/resource/comments/ fR_SO_4_{song_id}?offset0limit{limit}) resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() data resp.json() if data.get(code) ! 200: return [], 0 comments data.get(comments, []) total data.get(total, 0) comment_texts [c.get(content, ) for c in comments] return comment_texts, total拿到评论内容后把comment_texts直接存储到文件里后面用 jieba 分词做高频词统计。total作为评论数字段可以在清洗阶段和播放量一起做相关性分析。注意不是每一首歌都有评论老歌、纯音乐、小众歌曲的total可能是 0代码要对返回结构做get兜底否则一首歌就把整个循环打断。到这里三张原始表的素材已经齐了歌单列表、歌曲明细、评论内容。接下来把它们落成 CSV 文件时最常翻车的是编码问题后面专门有一章说这个坑。3. 从 JSON 到分析表pandas 清洗与三个必做动作3.1 拍平嵌套数据把 tracks 和 playlists 拉平成行从接口拿回来的数据是 list[dict] 结构没法直接做统计分析。第一步是把它转成 DataFrame。这里不需要复杂操作直接pd.DataFrame(rows)就行真正的工作在于统一字段和去重def build_song_table(playlist_ids): all_rows [] for pid in playlist_ids: rows fetch_playlist_detail(pid) all_rows.extend(rows) time.sleep(0.8) df pd.DataFrame(all_rows) df df.drop_duplicates(subset[song_id, playlist_id]) df df.dropna(subset[song_id, title]) return dfdrop_duplicates的去重对象是song_id playlist_id的组合键。如果同一首歌出现在两个歌单里这两个组合键是不冲突的歌曲可以被保留两次因为分析维度是“歌单里的歌曲”不是“全网唯一歌曲”。如果你想要的是歌手维度的统计那么同一首歌重复出现会导致歌手计数虚高这时候就要再按song_id单独去一次重。拍平之后要检查一个东西artist字段里可能有空字符串。网易云的某些歌曲没有标注歌手清洗时把这类行过滤掉避免后续按歌手分组时出现一堆 “(unknown)”。3.2 字段标准化时长、数量单位三个硬处理原始接口给的数据有两个地方不友好dt是毫秒playCount是数字但单位不直观。下面的清洗代码把毫秒换算成分钟并生成一个更可读的播放量文本字段import numpy as np df[duration_min] (df[duration_ms] / 60000).round(2) df[play_count_text] df[play_count].apply( lambda x: f{x / 10000:.1f}万 if x 10000 else str(x) ) # 过滤异常时长超过 60 分钟或小于 30 秒的歌曲基本是异常数据 df df[(df[duration_min] 0.5) (df[duration_min] 60)]第一行把毫秒转成分钟并保留两位小数这是画分布图时最容易解释的字段。第二行生成了一个展示用的文本字段适合放在柱状图的数据标签上视觉上更接近网易云页面的表达方式。第三行是异常值过滤直播录音、空音频、错误上传会导致时长极端把 30 秒到 60 分钟之外的数据全扔掉。注意一个细节play_count是歌单的播放量不是单曲的播放量。一首歌会带它所属歌单的播放量所以分析歌曲热度时这个字段只能代表“这首歌出现在多热的歌单里”不能代表歌曲本身多火。课程报告里要把这个口径写清楚否则答辩时老师一问你“播放量到底是谁的播放量”容易卡壳。3.3 构造分析维度流行度分层、歌手聚合、标签拆分原始字段只够画简单图表要做出“有分析味道”的结论必须构造新字段。我一般做三个加工播放量分层、歌手拆分、标签展开。播放量分层用pd.cut把连续值变成类别值比如“冷门、普通、热门、爆款”四个档位歌手拆分是把artists按“、”切分后explode展开这样每个歌手占一行方便直接value_counts标签拆分同理bins [0, 10000, 100000, 1000000, np.inf] labels [冷门, 普通, 热门, 爆款] df[popularity_level] pd.cut( df[play_count], binsbins, labelslabels, rightFalse ) # 按歌手拆分一个歌手占一行 df_singer ( df.assign(artist_listdf[artists].str.split(、)) .explode(artist_list) .query(artist_list ! ) ) # 歌单标签拆分标签原始值是 [华语, 民谣] 这种列表 df_tags ( df.assign(tag_listdf[tags].apply(eval)) .explode(tag_list) .dropna(subset[tag_list]) )df.assign加一列列表再用explode把列表拍平成多行这是 pandas 里做“一对多”分析的标准打法。拆分之后数一下每个歌手出现的行数就能得到“被分析歌单里最常出现的歌手 Top 10”数一下每个标签的行数就能得到“这个歌单分类下最常见的标签分布”。这三个加工维度做完可画的图从十张变成三十张横轴可以是歌手、标签、时长区间、热度分层纵轴可以是歌曲数、平均播放量、评论总数。一份课程报告的图表量基本够了而且每个图表都有明确的业务含义。4. 一张图拿一个分matplotlib、PyECharts、词云三层可视化4.1 排名类图表matplotlib 横向柱状图可视化是网易云歌单分析系统最容易被老师看见的部分。我习惯先用 matplotlib 出静态图因为它是 Python 数据分析课程里最常用的库代码短、效果稳、不依赖浏览器。第一张图做“播放量 Top 10 歌单”的横向柱状图import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False top df.drop_duplicates(subset[playlist_id]).nlargest(10, play_count) fig, ax plt.subplots(figsize(10, 6)) ax.barh(top[playlist_name], top[play_count]) ax.set_xlabel(播放量) ax.set_title(播放量 Top 10 歌单) ax.invert_yaxis() fig.tight_layout() fig.savefig(output/top10_playlist.png, dpi150)nlargest(10, play_count)先取播放量最大的 10 个歌单。横向柱状图的好处是歌单名称是长文本纵向排列会被截断横向可以完整显示。invert_yaxis把最大的放在第一行符合阅读习惯。SimHei 是中文字体的关键设置Windows 系统一般自带macOS 要改成PingFang SC。如果说图表能再提升一档那就是把每根柱子上的数值标出来ax.bar_label(ax.containers[0])这样老师不用盯着坐标轴读数字图表自解释程度更高。数据标签的字体大小建议 9 到 11超过 12 在大图里反而显得拥挤。4.2 交互式图表PyECharts 标签排名和组合页面matplotlib 适合放在论文和 PPT 里但现场演示时交互式图表更容易出效果。PyECharts 是当前 Python 数据可视化课程里常见的选择它生成 HTML 文件浏览器打开后可以悬浮看数据、缩放、切换系列。下面用 Bar 做一个歌单分类的标签分布图from pyecharts.charts import Bar from pyecharts import options as opts tag_count df_tags[tag_list].value_counts().head(10) bar ( Bar(init_optsopts.InitOpts(width900px, height500px)) .add_xaxis(tag_count.index.tolist()) .add_yaxis(歌单数量, tag_count.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(title歌单分类标签 Top 10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate30)), yaxis_optsopts.AxisOpts(name歌单数量) ) ) bar.render(output/tag_bar.html)PyECharts 的写法是链式调用add_xaxis加横轴类目add_yaxis加数值系列set_global_opts设置标题和坐标轴。rotate30让横轴的标签倾斜 30 度防止两个长标签叠在一起。渲染产物是一个独立的 HTML 文件浏览器打开即用。还可以把多个图组合到一个页面里。PyECharts 的Tab类可以创建带标签页的仪表盘把播放量 Top 歌单、歌手频次、评论总数分布都放进同一份 HTML。交作业时只需要提交一个 HTML 文件演示效果比三张静态图连着放要完整得多。4.3 歌单标签词云jieba WordCloud 的中文字体问题词云是网易云歌单分析系统里最有视觉冲击力的图适合用来呈现评论热词或歌单标签的分布。它把文字频率映射成字号大小高频词字体大、低频词字体小。这里用 jieba 分词加 WordCloud 生成import jieba from wordcloud import WordCloud # 把评论内容拼成一个大文本 comment_corpus .join(all_comment_texts) words .join(jieba.cut(comment_corpus)) wc WordCloud( font_pathC:/Windows/Fonts/simhei.ttf, width800, height600, background_colorwhite, max_words200, collocationsFalse ).generate(words) wc.to_file(output/comment_wordcloud.png)jieba.cut会把一整段中文切词切完再拼回空格分隔的文本因为 WordCloud 需要词和词之间用空格隔开。font_path是中文显示的关键不指定字体文件的话词云里所有中文字符都会变成方框。线段Windows 用simhei.ttfmacOS 用/System/Library/Fonts/PingFang.ttcLinux 用/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc。collocationsFalse用来关闭词组自动组合否则“不是”“没有”这类相邻词会被错误地合成一个词。词云适合展示但不适合当作唯一证据。老师如果问“这个分析说明了什么”你要给出词频统计的表格来配合让词云从“好看”变成“可验证”。我一般同时保留comments_texts的原始内容统计 Top 20 高频词做成表格放进报告附录。4.4 把图表放进一份报告文件目录建议静态图和 HTML 图表的产物不要散落在一堆文件夹里按下面的结构组织提交作业时最清爽project/ ├── data/ │ ├── playlists.csv │ ├── songs.csv │ └── comments.txt ├── output/ │ ├── top10_playlist.png │ ├── tag_bar.html │ ├── dashboard.html │ └── comment_wordcloud.png ├── crawler.py ├── clean.py └── visualize.pydata目录放清洗后的结构化数据output目录放所有图表产物三个 Python 文件按职责拆分crawler 管采集、clean 管清洗、visualize 管出图。这种结构符合数据分析初探项目的预期也方便在答辩时现场把整个流程再跑一遍。5. 这份作业最容易翻车的 5 个坑现象、原因、解决5.1 正则匹配不到初始状态现象写好的爬虫第一次能跑第二次报ValueError: 未找到初始状态或者解析出来的 JSON 是空的。原因window.__INITIAL_STATE__的结束边界不是固定的。有的页面后面跟;(function有的跟;window更常见的是页面结构改版后整段结构都变了。另外请求被风控时网页会返回一个验证页面里面根本没有初始状态。解决先不要直接解析把resp.text保存成debug.html用文本编辑器搜索__INITIAL_STATE__肉眼确认它存在再写解析逻辑。同时把结束边界放宽到“找到__INITIAL_STATE__后从下一个;开始往前找 JSON 的完整结束位置”我一般直接用括号配对算法来定位大括号而不是依赖固定的关键词。5.2 requests 请求被 403 拦截现象代码前几十次请求正常后面突然连续返回 403或者返回的 JSON 里code是-460。原因短时间请求频率过高被服务端风控识别。User-Agent太简略比如默认的python-requests也会在第一轮就触发拦截。解决把User-Agent和Referer写进 HEADERS参考浏览器开发工具里的真实请求头每次请求之间time.sleep(0.5)起步翻页时建议 1 到 2 秒。更稳的做法是用同一个requests.Session()对象发起请求让它复用连接行为更接近浏览器。如果全部加了仍然 403就从浏览器复制完整的Cookie字段塞进 HEADERS 再试。5.3 CSV 打开后中文乱码现象用 pandas 写出的 CSV用 Excel 打开是乱码用记事本打开正常。原因df.to_csv默认编码是 UTF-8但 Excel 在 Windows 上默认用 GBK 打开 CSVUTF-8 没有 BOM 头时它不认。解决写文件时统一用encodingutf-8-sig这个编码会在文件开头加一段 BOM 标记Excel 就能正确识别中文。另外一行很关键indexFalse否则 CSV 第一列会多出一行行号后面读回去时多一个没用的列。df_song.to_csv(data/songs.csv, indexFalse, encodingutf-8-sig)5.4 WordCloud 输出全是方框现象词云生成的图片能打开但里面的中文全部是豆腐块一样的方框。原因WordCloud 默认字体不支持中文它在绘制字符时找不到对应的字形就画一个方框代替。解决WordCloud构造函数里必须传入font_path指定系统中文字体的绝对路径。Windows 常见路径是C:/Windows/Fonts/simhei.ttf但也要确认系统装了对应字体。macOS 用PingFang.ttc这个文件是 ttc 格式WordCloud 也能读。如果服务器上没有中文字体从自己的开发机把字体文件复制到项目目录用相对路径引用。5.5 PyECharts 渲染出空白页面现象render()生成 HTML 后浏览器打开是白屏或者页面上只有标题没有图表。原因新版 PyECharts 的图表依赖外部 JS 库如果 HTML 是用默认 CDN 引用脚本在学校机房、无外网环境或浏览器安全策略限制下就无法加载另一个常见原因是脚本版本和echarts.min.js版本不匹配。解决在init_opts里指定Opts.InitOpts(assets_host)改成离线模式它会尝试生成内嵌资源或者直接把网页保存为完整格式再手动把 echarts.min.js 下载到本地放进项目目录。最省事的做法是用 PyECharts 生成 HTML 后直接截图放进报告把 HTML 留作演示备用不依赖现场网络环境。6. 交作业前做一次全流程回放验证口径和提升演示效果整个系统的数据链条长任何一个环节出错都可能导致图表和结论对不上。我交作业前会做一次回放验证把项目目录里的.py文件从上到下依次跑一遍每跑完一步就检查产物文件是否更新。回放时最常发现的问题是“口径不一致”歌曲明细表里的play_count是歌单维度而评论表里的total是歌曲维度如果把它们直接放在一张图里比较结论会失真。我用一个简单的输出文件清单来做核对歌单概览表对歌单列表接口歌曲明细表对歌曲详情接口评论文本对评论接口一张表对应一个数据源互不混用。如果回放中途中断优先把当前步骤的数据转储为 CSV 而不是重新跑全流程这样能定位是采集挂了还是清洗挂了。数据口径确认之后再做演示提升。我会在output目录里放一个dashboard.html用 PyECharts 的Tab整合四个图播放量 Top 歌单、歌手频次、时长分布、词云。静态图片用于论文Dashboard 用于答辩现场展示。展示时先讲结论再讲图“从标签分词可以看出民谣和华语的歌单数量明显偏高”比“这里有一张词云图”听起来像分析而不是报菜名。这几次翻车也成了我的固定习惯抓取入口一定封装成函数入参只有分类和页数这样换数据源只需要改一个参数代码里不写死歌单 id而是从上一张表的输出读取保证整个系统可复现。希望这份网易云歌单分析系统能帮你把 Python 数据分析初探项目的每一步踩实祝你这门课的编程作业顺利过关。本文还有配套的精品资源点击获取
——悬空照旧，轮廓线却飘到了面片外面)
