前言数据分析与可视化经常被当成一件事来说其实是两个环节分析是从数据里提炼事实哪个分组最高、趋势在涨还是跌、两列之间有没有关系可视化是把提炼出的事实画成图让人一眼看懂。两者顺序不能颠倒——先分析、再画图先画图再找结论很容易被图形的视觉暗示带偏。新手最大的误解是不会 matplotlib 就做不了数据分析。事实相反统计分析几乎全部可以用标准库完成statistics、collections、math可视化才是真正依赖第三方库的那一层。matplotlib、seaborn、plotly 都是第三方库本机没有安装本文只讲它们的使用思路具体 API 以各自官方文档为准。本文先用纯标准库走完一整条描述性分析链路再用字符画出一个能直接看结果的条形图让你在没有绘图库的环境里也能把结论展示出来。一、分析流程从原始数据到结论一个可复用的分析流程通常固定成五步明确问题要回答的是哪个渠道转化最高还是这周的销量是不是异常问题不同指标就不同。取数与清洗把脏数据、缺失、单位不统一处理干净。描述性统计算集中趋势均值、中位数和离散程度极差、标准差。分组对比按维度切开看差异这是最出结论的一步。呈现表格或图形。第 3、4 步最容易被跳过直接跳到画图。结果就是画了一张很漂亮的图但说不出哪个组显著高于其他组图只是装饰。分析目标常用指标标准库来源典型水平均值、中位数statistics.mean/median波动大小极差、标准差max-min/statistics.stdev分布形状分位数statistics.quantiles频次结构计数、占比collections.Counter线性相关相关系数手写协方差 / 标准差二、纯标准库做描述性统计假设我们已经把数据清洗成分组名到数值列表的字典统计就变成了遍历。# 适用于 Python 3.8import statisticsdef describe(values):n len(values)if n 0:return Noneresult {n: n,mean: statistics.mean(values),median: statistics.median(values),min: min(values),max: max(values),range: max(values) - min(values),}result[stdev] statistics.stdev(values) if n 1 else 0.0return resultdata {A: [12, 15, 11, 14, 13], B: [30, 9, 22, 40, 18]}for name, values in data.items():print(name, describe(values))推演A组均值 13、中位数 13五个数都在 11~15 之间range是 4说明这组很稳B组均值 23.8、中位数 22但极差高达 31标准差明显更大。只看均值会得出B 组水平更高的结论但中位数和极差告诉你 B 组其实很不稳定——这正是分析要先看离散程度的原因。如果数据里有极端值outlier均值会被它拉走这时中位数更能代表典型水平。这也是为什么薪资、房价这类长尾分布的数据官方通报常用中位数而不是平均值。三、相关系数手写一遍就懂了两个变量之间有没有线性关系用皮尔逊相关系数Pearson correlation coefficient衡量取值范围是 -1 到 1接近 1 是强正相关接近 -1 是强负相关接近 0 是无线性关系。第三方库有现成函数但用标准库手写一遍能看清它的构造。# 适用于 Python 3.8import mathimport statisticsdef pearson(xs, ys):if len(xs) ! len(ys) or len(xs) 2:raise ValueError(两组数据长度必须相同且至少两个)mx statistics.mean(xs)my statistics.mean(ys)cov sum((x - mx) * (y - my) for x, y in zip(xs, ys))sx math.sqrt(sum((x - mx) ** 2 for x in xs))sy math.sqrt(sum((y - my) ** 2 for y in ys))if sx 0 or sy 0:raise ValueError(某一组数据没有波动无法计算相关)return cov / (sx * sy)分子是协方差的和分母是两个标准差未除以 n 的版本的乘积比值正好消掉了量纲。注意当某一列所有值都相同时sx为 0会导致除零所以必须先判断。这里要强调一句相关不等于因果。两个变量高度相关可能是第三个因素同时影响它们也可能是巧合。相关系数是发现线索的工具不是下结论的证据。四、用字符画一张图在没有绘图库的环境里可以用字符拼出横向条形图原理是把数值按比例缩放到固定的字符宽度。# 适用于 Python 3.8def bar_chart(data, width40):top max(data.values())if top 0:raise ValueError(最大值必须为正)for name, value in sorted(data.items(), keylambda kv: kv[1], reverseTrue):blocks round(value / top * width)print(f{name:6}| {# * blocks} {value})bar_chart({A: 13, B: 24, C: 7})推演最大值 24 映射到 40 个字符B取满 40 个#A是 13/24 ≈ 0.54取 22 个C是 7/24 ≈ 0.29取 12 个。格式化串里的左对齐标记配宽度 6保证各行的竖线能对齐。这类字符图和折线图、饼图比不了信息密度但胜在零依赖、能在纯文本终端里直接看。真实的可视化靠 matplotlib 这类库用它时的思路是固定的三步准备两个等长的序列x 和 y、调用对应的绘图函数、设置标题与坐标轴标签并show()或保存成文件。seaborn 在 matplotlib 之上封装了统计图形plotly 走交互式路线。这些库的具体函数名和参数请以各自官方文档为准不同版本之间有过调整。常见坑点拿均值代表长尾数据的典型水平。收入、房价、访问时长这类右偏分布里均值被少数极大值拉高会误导读者。❌ 只报statistics.mean(prices)就说平均房价是 X ✅ 同时给出statistics.median(prices)中位数更能代表中间那个人。在样本量为 1 时调用stdev()。样本标准差需要至少两个观测值否则抛StatisticsError。❌statistics.stdev([42])✅statistics.stdev(values) if len(values) 1 else 0.0。把stdev()与pstdev()混用。前者除以 n-1样本后者除以 n总体同一批数据算出的数不一样。❌ 认为两个函数结果相同、随便挑一个 ✅ 抽样数据用stdev()把整批当作总体用pstdev()。手写相关系数时不检查标准差是否为 0。当某一列所有值相同时分母为 0会抛ZeroDivisionError。❌ 直接cov / (sx * sy)✅ 先判断sx 0 or sy 0并给出明确错误。用相关系数直接下因果结论。相关只能说明同涨同跌不能说明谁导致谁。❌ 销售额和广告费相关系数 0.9所以投广告一定能涨销量 ✅ 把相关系数当作待验证的线索再用对照实验等方法去验证。画图前不做分组把不同量纲的数据放在一张图上。销售额百万级和转化率0 到 1画在同一坐标轴上转化率会被压成一条贴底的直线看不出任何变化。❌ 把量纲差异巨大的两列直接叠加绘制 ✅ 拆成子图或对其中一列做归一化 / 换用双坐标轴。以为字符宽度 1 的柱状图可以直接当正式图表用。终端字符宽度与像素不成比例且没有坐标轴与刻度只适合快速窥探数据。❌ 把字符图直接贴进正式报告 ✅ 字符图用于本地调试和粗看正式呈现交给绘图库。忽略异常值就计算相关性。一个离群点足以把相关系数从接近 0 抬到很高或者反过来压到很低。❌ 原样喂给相关函数 ✅ 先做异常值识别再决定是剔除、缩尾还是分箱。总结阶段用什么注意明确问题人先定指标再动手别让图形牵着结论走清洗上一节的csv/ 字符串处理脏数据会污染全部下游统计描述统计statistics均值配中位数、stdev配pstdev要分清分组对比dict 循环这一步才出结论相关分析手写皮尔逊或第三方相关不等于因果可视化matplotlib 等第三方或字符图第三方 API 以官方文档为准数据分析的价值在于从数据到判断的这一段推理可视化只负责把结论传达出去。先用标准库把集中趋势、离散程度、分组差异算清楚再决定用什么图去表达顺序对了哪怕只有字符图也比一张没有结论的漂亮图表有用得多。
前言数据分析与可视化经常被当成一件事来说其实是两个环节分析是从数据里提炼事实哪个分组最高、趋势在涨还是跌、两列之间有没有关系可视化是把提炼出的事实画成图让人一眼看懂。两者顺序不能颠倒——先分析、再画图先画图再找结论很容易被图形的视觉暗示带偏。新手最大的误解是不会 matplotlib 就做不了数据分析。事实相反统计分析几乎全部可以用标准库完成statistics、collections、math可视化才是真正依赖第三方库的那一层。matplotlib、seaborn、plotly 都是第三方库本机没有安装本文只讲它们的使用思路具体 API 以各自官方文档为准。本文先用纯标准库走完一整条描述性分析链路再用字符画出一个能直接看结果的条形图让你在没有绘图库的环境里也能把结论展示出来。一、分析流程从原始数据到结论一个可复用的分析流程通常固定成五步明确问题要回答的是哪个渠道转化最高还是这周的销量是不是异常问题不同指标就不同。取数与清洗把脏数据、缺失、单位不统一处理干净。描述性统计算集中趋势均值、中位数和离散程度极差、标准差。分组对比按维度切开看差异这是最出结论的一步。呈现表格或图形。第 3、4 步最容易被跳过直接跳到画图。结果就是画了一张很漂亮的图但说不出哪个组显著高于其他组图只是装饰。分析目标常用指标标准库来源典型水平均值、中位数statistics.mean/median波动大小极差、标准差max-min/statistics.stdev分布形状分位数statistics.quantiles频次结构计数、占比collections.Counter线性相关相关系数手写协方差 / 标准差二、纯标准库做描述性统计假设我们已经把数据清洗成分组名到数值列表的字典统计就变成了遍历。# 适用于 Python 3.8import statisticsdef describe(values):n len(values)if n 0:return Noneresult {n: n,mean: statistics.mean(values),median: statistics.median(values),min: min(values),max: max(values),range: max(values) - min(values),}result[stdev] statistics.stdev(values) if n 1 else 0.0return resultdata {A: [12, 15, 11, 14, 13], B: [30, 9, 22, 40, 18]}for name, values in data.items():print(name, describe(values))推演A组均值 13、中位数 13五个数都在 11~15 之间range是 4说明这组很稳B组均值 23.8、中位数 22但极差高达 31标准差明显更大。只看均值会得出B 组水平更高的结论但中位数和极差告诉你 B 组其实很不稳定——这正是分析要先看离散程度的原因。如果数据里有极端值outlier均值会被它拉走这时中位数更能代表典型水平。这也是为什么薪资、房价这类长尾分布的数据官方通报常用中位数而不是平均值。三、相关系数手写一遍就懂了两个变量之间有没有线性关系用皮尔逊相关系数Pearson correlation coefficient衡量取值范围是 -1 到 1接近 1 是强正相关接近 -1 是强负相关接近 0 是无线性关系。第三方库有现成函数但用标准库手写一遍能看清它的构造。# 适用于 Python 3.8import mathimport statisticsdef pearson(xs, ys):if len(xs) ! len(ys) or len(xs) 2:raise ValueError(两组数据长度必须相同且至少两个)mx statistics.mean(xs)my statistics.mean(ys)cov sum((x - mx) * (y - my) for x, y in zip(xs, ys))sx math.sqrt(sum((x - mx) ** 2 for x in xs))sy math.sqrt(sum((y - my) ** 2 for y in ys))if sx 0 or sy 0:raise ValueError(某一组数据没有波动无法计算相关)return cov / (sx * sy)分子是协方差的和分母是两个标准差未除以 n 的版本的乘积比值正好消掉了量纲。注意当某一列所有值都相同时sx为 0会导致除零所以必须先判断。这里要强调一句相关不等于因果。两个变量高度相关可能是第三个因素同时影响它们也可能是巧合。相关系数是发现线索的工具不是下结论的证据。四、用字符画一张图在没有绘图库的环境里可以用字符拼出横向条形图原理是把数值按比例缩放到固定的字符宽度。# 适用于 Python 3.8def bar_chart(data, width40):top max(data.values())if top 0:raise ValueError(最大值必须为正)for name, value in sorted(data.items(), keylambda kv: kv[1], reverseTrue):blocks round(value / top * width)print(f{name:6}| {# * blocks} {value})bar_chart({A: 13, B: 24, C: 7})推演最大值 24 映射到 40 个字符B取满 40 个#A是 13/24 ≈ 0.54取 22 个C是 7/24 ≈ 0.29取 12 个。格式化串里的左对齐标记配宽度 6保证各行的竖线能对齐。这类字符图和折线图、饼图比不了信息密度但胜在零依赖、能在纯文本终端里直接看。真实的可视化靠 matplotlib 这类库用它时的思路是固定的三步准备两个等长的序列x 和 y、调用对应的绘图函数、设置标题与坐标轴标签并show()或保存成文件。seaborn 在 matplotlib 之上封装了统计图形plotly 走交互式路线。这些库的具体函数名和参数请以各自官方文档为准不同版本之间有过调整。常见坑点拿均值代表长尾数据的典型水平。收入、房价、访问时长这类右偏分布里均值被少数极大值拉高会误导读者。❌ 只报statistics.mean(prices)就说平均房价是 X ✅ 同时给出statistics.median(prices)中位数更能代表中间那个人。在样本量为 1 时调用stdev()。样本标准差需要至少两个观测值否则抛StatisticsError。❌statistics.stdev([42])✅statistics.stdev(values) if len(values) 1 else 0.0。把stdev()与pstdev()混用。前者除以 n-1样本后者除以 n总体同一批数据算出的数不一样。❌ 认为两个函数结果相同、随便挑一个 ✅ 抽样数据用stdev()把整批当作总体用pstdev()。手写相关系数时不检查标准差是否为 0。当某一列所有值相同时分母为 0会抛ZeroDivisionError。❌ 直接cov / (sx * sy)✅ 先判断sx 0 or sy 0并给出明确错误。用相关系数直接下因果结论。相关只能说明同涨同跌不能说明谁导致谁。❌ 销售额和广告费相关系数 0.9所以投广告一定能涨销量 ✅ 把相关系数当作待验证的线索再用对照实验等方法去验证。画图前不做分组把不同量纲的数据放在一张图上。销售额百万级和转化率0 到 1画在同一坐标轴上转化率会被压成一条贴底的直线看不出任何变化。❌ 把量纲差异巨大的两列直接叠加绘制 ✅ 拆成子图或对其中一列做归一化 / 换用双坐标轴。以为字符宽度 1 的柱状图可以直接当正式图表用。终端字符宽度与像素不成比例且没有坐标轴与刻度只适合快速窥探数据。❌ 把字符图直接贴进正式报告 ✅ 字符图用于本地调试和粗看正式呈现交给绘图库。忽略异常值就计算相关性。一个离群点足以把相关系数从接近 0 抬到很高或者反过来压到很低。❌ 原样喂给相关函数 ✅ 先做异常值识别再决定是剔除、缩尾还是分箱。总结阶段用什么注意明确问题人先定指标再动手别让图形牵着结论走清洗上一节的csv/ 字符串处理脏数据会污染全部下游统计描述统计statistics均值配中位数、stdev配pstdev要分清分组对比dict 循环这一步才出结论相关分析手写皮尔逊或第三方相关不等于因果可视化matplotlib 等第三方或字符图第三方 API 以官方文档为准数据分析的价值在于从数据到判断的这一段推理可视化只负责把结论传达出去。先用标准库把集中趋势、离散程度、分组差异算清楚再决定用什么图去表达顺序对了哪怕只有字符图也比一张没有结论的漂亮图表有用得多。
)
