Python 推导式从零上手一行代码搞定数据转换第一次看到推导式的时候可能会觉得它有点反人类——明明三四行就能写完的逻辑非要挤在一行里看着像天书。但用顺手之后会发现它确实能省掉不少冗余代码而且逻辑更集中。这篇教程的目标很简单让你看懂推导式能自己写推导式以及知道什么时候该用它、什么时候不该用。WEB项目地址演示地址① 推导式核心概念与生活化类比推导式解决的是一个很具体的需求从一个数据源经过某种转换或筛选生成一个新的数据集合。举个生活中的例子。你有一筐苹果现在要做三件事把所有苹果削皮转换只挑出红苹果筛选削皮后装进一个新筐子生成新集合如果用常规写法你需要准备一个新筐子 → 遍历旧筐子 → 判断条件 → 处理每个苹果 → 放入新筐子。推导式把这几步压缩成一行。推导式的本质一种声明式的写法——你告诉 Python “我要什么”而不是怎么一步步做。Python 在底层帮你把循环和追加的逻辑处理好了。它的语法结构可以概括为[表达式 for 变量 in 可迭代对象 if 条件]读作“对于可迭代对象中的每个元素如果满足条件则计算表达式收集结果。”② 列表推导式基础语法与快速构建列表推导式是最常见的一种它生成的是一个列表。基础形态最简单的转换# 传统写法numbers[1,2,3,4,5]squared[]forninnumbers:squared.append(n*n)print(squared)# [1, 4, 9, 16, 25]# 推导式写法squared[n*nforninnumbers]print(squared)# [1, 4, 9, 16, 25]对比一下传统写法用了三行推导式只用一行。核心逻辑n * n被提前到了前面for n in numbers跟在后面。语法拆解n * n表达式每个元素最终变成什么for n in numbers从哪里取数据整体用[]包裹表示生成列表实操练习把字符串列表转成大写names[alice,bob,cathy]upper_names[name.upper()fornameinnames]print(upper_names)# [ALICE, BOB, CATHY]数值运算对每个元素加 10original[3,8,1,6]result[x10forxinoriginal]print(result)# [13, 18, 11, 16]关键点在于表达式可以是任何有效的 Python 运算——函数调用、数学运算、字符串操作都可以。③ 条件过滤在推导式中的实战应用很多时候不是要处理所有元素而是只处理满足特定条件的部分。这时在推导式末尾加上if子句。只取偶数numbers[1,2,3,4,5,6,7,8]evens[nforninnumbersifn%20]print(evens)# [2, 4, 6, 8]这里的执行逻辑是遍历numbers只有n % 2 0为True时才把n放入结果列表。过滤掉空字符串words[hello,,world,,python]non_empty[wforwinwordsifw!]print(non_empty)# [hello, world, python]结合转换和过滤只处理符合条件的元素并做转换# 只取正数的平方根importmath data[4,-9,16,-25,36]positive_sqrt[math.sqrt(x)forxindataifx0]print(positive_sqrt)# [2.0, 4.0, 6.0]注意if的位置它写在for的后面表示筛选条件。表达式中也可以包含条件判断三元表达式但那是另一回事后面会提到。一个容易混淆的点# 这是筛选只取偶数[nforninrange(10)ifn%20]# 这是转换所有数都处理偶数不变奇数变成 -1[nifn%20else-1forninrange(10)]前者是if在for后面筛选后者是if...else在表达式里三元运算。两者的位置不同功能也完全不同。④ 字典与集合推导式的独特用法列表推导式用的最多但字典和集合也有对应的推导式语法略有不同。集合推导式用{}包裹生成的是集合自动去重# 生成平方数集合squares_set{n*nforninrange(-5,6)}print(squares_set)# {0, 1, 4, 9, 16, 25}负数平方和正数平方重复被去重了集合推导式适合需要去重的场景。注意和字典推导式的区别集合推导式里只有表达式没有冒号。字典推导式同样用{}但格式是键: 值# 把列表转为字典元素作为键长度作为值fruits[apple,banana,cherry]fruit_length{f:len(f)forfinfruits}print(fruit_length)# {apple: 5, banana: 6, cherry: 6}交换字典的键和值original{a:1,b:2,c:3}swapped{v:kfork,vinoriginal.items()}print(swapped)# {1: a, 2: b, 3: c}带条件过滤的字典推导式只保留值大于某个阈值的项scores{张伟:85,李娜:92,王强:58,赵敏:76}passed{name:scoreforname,scoreinscores.items()ifscore60}print(passed)# {张伟: 85, 李娜: 92, 赵敏: 76}三种推导式的选择原则需要列表 → 用[]需要集合去重 → 用{} 单个表达式需要键值对 → 用{}键: 值⑤ 嵌套循环推导式的编写技巧推导式里也可以写嵌套的for用来处理二维或多维数据。场景一展开二维列表matrix[[1,2,3],[4,5,6],[7,8,9]]flatten[xforrowinmatrixforxinrow]print(flatten)# [1, 2, 3, 4, 5, 6, 7, 8, 9]这里的执行顺序是外层for row in matrix内层for x in row。先取第一行[1,2,3]再逐个取行里的元素放入结果。场景二生成坐标对# 生成 3x3 网格的所有坐标coordinates[(x,y)forxinrange(3)foryinrange(3)]print(coordinates)# [(0,0), (0,1), (0,2), (1,0), (1,1), (1,2), (2,0), (2,1), (2,2)]场景三嵌套循环 条件过滤# 找出所有两数之和为偶数的组合pairs[(a,b)forainrange(1,4)forbinrange(1,4)if(ab)%20]print(pairs)# [(1,1), (1,3), (2,2), (3,1), (3,3)]嵌套推导式的可读性会随着层数增加而下降。一般来说两层以内还算清晰超过两层建议改用普通循环。记忆技巧嵌套推导式中for的顺序和普通嵌套循环的顺序完全一致# 普通循环result[]forrowinmatrix:forxinrow:result.append(x)# 推导式result[xforrowinmatrixforxinrow]# 把循环体append 的内容提到最前面后面的 for 顺序不变⑥ 从传统循环到推导式的重构演练这一节用几个实例演示如何把常规循环改写成推导式这对理解推导式的适用场景很有帮助。例1提取文件中所有数字行假设有一个日志文件只关心包含数字的行# 传统写法lines[hello,123,world,456,test]numbers[]forlineinlines:ifline.isdigit():numbers.append(int(line))print(numbers)# [123, 456]# 推导式numbers[int(line)forlineinlinesifline.isdigit()]例2将列表中的人名格式化为姓,名# 原始数据[张伟, 李娜, 王强]# 目标[张,伟, 李,娜, 王,强]# 传统写法names[张伟,李娜,王强]formatted[]fornameinnames:iflen(name)2:formatted.append(name[0],name[1])else:formatted.append(name)# 推导式带三元表达式formatted[name[0],name[1]iflen(name)2elsenamefornameinnames]例3从字典列表中提取特定字段users[{name:张三,age:20},{name:李四,age:25},{name:王五,age:18}]# 传统写法names[]foruserinusers:names.append(user[name])# 推导式names[user[name]foruserinusers]重构的时候有个判断标准如果循环体只有一行append操作基本都能改成推导式。如果循环体内有多步操作、有状态累积、或者有复杂的条件分支强行改成推导式反而会降低可读性。⑦ 提升代码可读性的最佳实践推导式简洁但不一定总是可读的。下面几条建议是在实际项目中总结出来的。原则一一行能写完就一行写不完就拆PEP 8 没有硬性限制行长度但通常建议不超过 79 个字符。如果推导式太长可以拆成多行# 可读性差的单行result[process(item)foritemindataifcondition1(item)andcondition2(item)andcondition3(item)]# 拆成多行更清晰result[process(item)foritemindataifcondition1(item)andcondition2(item)andcondition3(item)]原则二嵌套不超过两层# 两层可以接受flatten[xforrowinmatrixforxinrow]# 三层建议改循环# 三层推导式很难一眼看出逻辑原则三变量命名要明确# 不清晰result[x.f()forxindifx.g()0]# 清晰processed[user.get_full_name()foruserinuser_listifuser.is_active()]原则四复杂逻辑用辅助函数如果推导式里的表达式很复杂先定义一个函数defcalculate_score(record):# 假设这里有几十行计算逻辑returnbase_scorebonus-penalty results[calculate_score(r)forrinrecords]推导式只负责遍历和收集具体的转换逻辑交给函数去处理。⑧ 常见语法错误与调试排查指南推导式的语法比较紧凑新手容易在几个地方出错。下面列出最常见的错误类型和解决方法。错误1if 和 for 的顺序搞反# 错误if 写在 for 前面[nifn0forninnumbers]# SyntaxError# 正确if 写在 for 后面[nforninnumbersifn0]记住for必须出现在if之前筛选条件的if。如果是在表达式里用三元if...else那是另一回事。错误2字典推导式漏写冒号# 错误{x x*2forxinrange(3)}# SyntaxError# 正确{x:x*2forxinrange(3)}# {0: 0, 1: 2, 2: 4}错误3变量作用域误解推导式里的变量不会泄露到外部Python 3 中[xforxinrange(5)]print(x)# NameError: name x is not defined但如果在推导式之外定义了同名变量推导式会使用外部变量但不会修改它x10result[xforxinrange(3)]print(x)# 仍然是 10推导式里的 x 是局部作用域错误4嵌套推导式中的变量冲突# 两个循环用了同一个变量名会互相覆盖result[(x,y)forxinrange(3)forxinrange(3)]# 内层 x 覆盖外层 x避免方式内外层用不同的变量名。调试技巧如果推导式的结果不符合预期把它拆成普通循环加print调试# 推导式result[f(x)forxindataifg(x)]# 拆开调试result[]forxindata:print(f处理:{x})ifg(x):print(f通过:{x})result.append(f(x))确认逻辑正确后再改回推导式。⑨ 性能对比推导式 versus 普通循环推导式在 CPython 中通常比普通循环快因为它的循环逻辑在 C 层面执行减少了 Python 字节码的解释开销。简单测试可以在自己电脑上跑一下importtime datalist(range(1000000))# 普通循环starttime.time()result1[]forxindata:result1.append(x*2)print(time.time()-start)# 推导式starttime.time()result2[x*2forxindata]print(time.time()-start)在大多数环境下推导式会比普通循环快 20%-40%。但这不意味着所有场景都要用推导式——性能提升在大多数业务场景中感知不到可读性才是第一优先级。map/filter 与推导式的对比# map filter 写法resultlist(map(lambdax:x*2,filter(lambdax:x%20,numbers)))# 推导式写法result[x*2forxinnumbersifx%20]推导式不仅更快避免了 lambda 函数的调用开销而且更易读。所以在 Python 社区推导式已经基本取代了map和filter的常见用法。什么时候不用推导式循环体内有副作用如写入文件、打印日志需要break或continue提前终止逻辑复杂需要多步状态累积代码可读性明显下降⑩ 综合案例数据清洗任务全流程最后用一个完整的例子把前面所有知识点串起来。场景从一份原始的用户数据中清洗出有效信息。原始数据是一个字典列表每个字典包含用户的姓名、年龄、邮箱和注册时间。但数据存在各种问题年龄缺失、邮箱格式错误、注册时间格式不统一等。# 原始数据raw_users[{name:张三,age:25,email:zhangsanexample.com,registered:2023-01-15},{name:李四,age:None,email:lisi#example.com,registered:2023/02/20},{name:王五,age:30,email:wangwuexample.com,registered:2023-03-10},{name:赵六,age:22,email:,registered:2023/04/05},{name:孙七,age:28,email:sunqiexample.com,registered:2023-05-12},{name:周八,age:35,email:zhoubaexample.com,registered:invalid}]清洗需求过滤掉age为空或邮箱为空的用户验证邮箱格式包含和.将注册时间统一转为YYYY-MM-DD格式处理/分隔符和无效值只保留姓名、清洗后的邮箱、清洗后的注册时间生成清洗报告清洗前后的数据量用推导式分步实现# 步骤1过滤掉 age 为空 或 email 为空的用户filtered[uforuinraw_usersifu[age]isnotNoneandu[email]!]print(f过滤空字段后:{len(filtered)}条)# 步骤2验证邮箱格式简单校验包含 和 .valid_emails[uforuinfilteredifinu[email]and.inu[email]]print(f邮箱格式有效:{len(valid_emails)}条)# 步骤3清洗注册时间格式defclean_date(date_str):将日期统一转为 YYYY-MM-DD 格式ifnotdate_strordate_strinvalid:returnNoneif/indate_str:partsdate_str.split(/)iflen(parts)3:returnf{parts[0]}-{parts[1].zfill(2)}-{parts[2].zfill(2)}if-indate_str:partsdate_str.split(-)iflen(parts)3andlen(parts[0])4:returndate_strreturnNone# 用推导式构建清洗后的数据cleaned_users[{name:u[name],email:u[email],registered:clean_date(u[registered])}foruinvalid_emailsifclean_date(u[registered])isnotNone# 过滤掉日期无效的记录]print(f最终有效数据:{len(cleaned_users)}条)# 输出清洗后的结果print(\n清洗后的数据)foruincleaned_users:print(f{u})运行结果过滤空字段后: 5 条 邮箱格式有效: 4 条 最终有效数据: 3 条 清洗后的数据 {name: 张三, email: zhangsanexample.com, registered: 2023-01-15} {name: 王五, email: wangwuexample.com, registered: 2023-03-10} {name: 孙七, email: sunqiexample.com, registered: 2023-05-12}这个案例体现了推导式的核心价值数据处理往往是一系列过滤-转换-收集的操作推导式让每一步都清晰地表达在了一行里整个流程一眼就能看懂。实际工作中数据清洗的逻辑可能更复杂但思路是一样的把每一步拆成独立的推导式或函数组合起来就能完成完整的数据流水线。
Python 推导式从零上手一行代码搞定数据转换第一次看到推导式的时候可能会觉得它有点反人类——明明三四行就能写完的逻辑非要挤在一行里看着像天书。但用顺手之后会发现它确实能省掉不少冗余代码而且逻辑更集中。这篇教程的目标很简单让你看懂推导式能自己写推导式以及知道什么时候该用它、什么时候不该用。WEB项目地址演示地址① 推导式核心概念与生活化类比推导式解决的是一个很具体的需求从一个数据源经过某种转换或筛选生成一个新的数据集合。举个生活中的例子。你有一筐苹果现在要做三件事把所有苹果削皮转换只挑出红苹果筛选削皮后装进一个新筐子生成新集合如果用常规写法你需要准备一个新筐子 → 遍历旧筐子 → 判断条件 → 处理每个苹果 → 放入新筐子。推导式把这几步压缩成一行。推导式的本质一种声明式的写法——你告诉 Python “我要什么”而不是怎么一步步做。Python 在底层帮你把循环和追加的逻辑处理好了。它的语法结构可以概括为[表达式 for 变量 in 可迭代对象 if 条件]读作“对于可迭代对象中的每个元素如果满足条件则计算表达式收集结果。”② 列表推导式基础语法与快速构建列表推导式是最常见的一种它生成的是一个列表。基础形态最简单的转换# 传统写法numbers[1,2,3,4,5]squared[]forninnumbers:squared.append(n*n)print(squared)# [1, 4, 9, 16, 25]# 推导式写法squared[n*nforninnumbers]print(squared)# [1, 4, 9, 16, 25]对比一下传统写法用了三行推导式只用一行。核心逻辑n * n被提前到了前面for n in numbers跟在后面。语法拆解n * n表达式每个元素最终变成什么for n in numbers从哪里取数据整体用[]包裹表示生成列表实操练习把字符串列表转成大写names[alice,bob,cathy]upper_names[name.upper()fornameinnames]print(upper_names)# [ALICE, BOB, CATHY]数值运算对每个元素加 10original[3,8,1,6]result[x10forxinoriginal]print(result)# [13, 18, 11, 16]关键点在于表达式可以是任何有效的 Python 运算——函数调用、数学运算、字符串操作都可以。③ 条件过滤在推导式中的实战应用很多时候不是要处理所有元素而是只处理满足特定条件的部分。这时在推导式末尾加上if子句。只取偶数numbers[1,2,3,4,5,6,7,8]evens[nforninnumbersifn%20]print(evens)# [2, 4, 6, 8]这里的执行逻辑是遍历numbers只有n % 2 0为True时才把n放入结果列表。过滤掉空字符串words[hello,,world,,python]non_empty[wforwinwordsifw!]print(non_empty)# [hello, world, python]结合转换和过滤只处理符合条件的元素并做转换# 只取正数的平方根importmath data[4,-9,16,-25,36]positive_sqrt[math.sqrt(x)forxindataifx0]print(positive_sqrt)# [2.0, 4.0, 6.0]注意if的位置它写在for的后面表示筛选条件。表达式中也可以包含条件判断三元表达式但那是另一回事后面会提到。一个容易混淆的点# 这是筛选只取偶数[nforninrange(10)ifn%20]# 这是转换所有数都处理偶数不变奇数变成 -1[nifn%20else-1forninrange(10)]前者是if在for后面筛选后者是if...else在表达式里三元运算。两者的位置不同功能也完全不同。④ 字典与集合推导式的独特用法列表推导式用的最多但字典和集合也有对应的推导式语法略有不同。集合推导式用{}包裹生成的是集合自动去重# 生成平方数集合squares_set{n*nforninrange(-5,6)}print(squares_set)# {0, 1, 4, 9, 16, 25}负数平方和正数平方重复被去重了集合推导式适合需要去重的场景。注意和字典推导式的区别集合推导式里只有表达式没有冒号。字典推导式同样用{}但格式是键: 值# 把列表转为字典元素作为键长度作为值fruits[apple,banana,cherry]fruit_length{f:len(f)forfinfruits}print(fruit_length)# {apple: 5, banana: 6, cherry: 6}交换字典的键和值original{a:1,b:2,c:3}swapped{v:kfork,vinoriginal.items()}print(swapped)# {1: a, 2: b, 3: c}带条件过滤的字典推导式只保留值大于某个阈值的项scores{张伟:85,李娜:92,王强:58,赵敏:76}passed{name:scoreforname,scoreinscores.items()ifscore60}print(passed)# {张伟: 85, 李娜: 92, 赵敏: 76}三种推导式的选择原则需要列表 → 用[]需要集合去重 → 用{} 单个表达式需要键值对 → 用{}键: 值⑤ 嵌套循环推导式的编写技巧推导式里也可以写嵌套的for用来处理二维或多维数据。场景一展开二维列表matrix[[1,2,3],[4,5,6],[7,8,9]]flatten[xforrowinmatrixforxinrow]print(flatten)# [1, 2, 3, 4, 5, 6, 7, 8, 9]这里的执行顺序是外层for row in matrix内层for x in row。先取第一行[1,2,3]再逐个取行里的元素放入结果。场景二生成坐标对# 生成 3x3 网格的所有坐标coordinates[(x,y)forxinrange(3)foryinrange(3)]print(coordinates)# [(0,0), (0,1), (0,2), (1,0), (1,1), (1,2), (2,0), (2,1), (2,2)]场景三嵌套循环 条件过滤# 找出所有两数之和为偶数的组合pairs[(a,b)forainrange(1,4)forbinrange(1,4)if(ab)%20]print(pairs)# [(1,1), (1,3), (2,2), (3,1), (3,3)]嵌套推导式的可读性会随着层数增加而下降。一般来说两层以内还算清晰超过两层建议改用普通循环。记忆技巧嵌套推导式中for的顺序和普通嵌套循环的顺序完全一致# 普通循环result[]forrowinmatrix:forxinrow:result.append(x)# 推导式result[xforrowinmatrixforxinrow]# 把循环体append 的内容提到最前面后面的 for 顺序不变⑥ 从传统循环到推导式的重构演练这一节用几个实例演示如何把常规循环改写成推导式这对理解推导式的适用场景很有帮助。例1提取文件中所有数字行假设有一个日志文件只关心包含数字的行# 传统写法lines[hello,123,world,456,test]numbers[]forlineinlines:ifline.isdigit():numbers.append(int(line))print(numbers)# [123, 456]# 推导式numbers[int(line)forlineinlinesifline.isdigit()]例2将列表中的人名格式化为姓,名# 原始数据[张伟, 李娜, 王强]# 目标[张,伟, 李,娜, 王,强]# 传统写法names[张伟,李娜,王强]formatted[]fornameinnames:iflen(name)2:formatted.append(name[0],name[1])else:formatted.append(name)# 推导式带三元表达式formatted[name[0],name[1]iflen(name)2elsenamefornameinnames]例3从字典列表中提取特定字段users[{name:张三,age:20},{name:李四,age:25},{name:王五,age:18}]# 传统写法names[]foruserinusers:names.append(user[name])# 推导式names[user[name]foruserinusers]重构的时候有个判断标准如果循环体只有一行append操作基本都能改成推导式。如果循环体内有多步操作、有状态累积、或者有复杂的条件分支强行改成推导式反而会降低可读性。⑦ 提升代码可读性的最佳实践推导式简洁但不一定总是可读的。下面几条建议是在实际项目中总结出来的。原则一一行能写完就一行写不完就拆PEP 8 没有硬性限制行长度但通常建议不超过 79 个字符。如果推导式太长可以拆成多行# 可读性差的单行result[process(item)foritemindataifcondition1(item)andcondition2(item)andcondition3(item)]# 拆成多行更清晰result[process(item)foritemindataifcondition1(item)andcondition2(item)andcondition3(item)]原则二嵌套不超过两层# 两层可以接受flatten[xforrowinmatrixforxinrow]# 三层建议改循环# 三层推导式很难一眼看出逻辑原则三变量命名要明确# 不清晰result[x.f()forxindifx.g()0]# 清晰processed[user.get_full_name()foruserinuser_listifuser.is_active()]原则四复杂逻辑用辅助函数如果推导式里的表达式很复杂先定义一个函数defcalculate_score(record):# 假设这里有几十行计算逻辑returnbase_scorebonus-penalty results[calculate_score(r)forrinrecords]推导式只负责遍历和收集具体的转换逻辑交给函数去处理。⑧ 常见语法错误与调试排查指南推导式的语法比较紧凑新手容易在几个地方出错。下面列出最常见的错误类型和解决方法。错误1if 和 for 的顺序搞反# 错误if 写在 for 前面[nifn0forninnumbers]# SyntaxError# 正确if 写在 for 后面[nforninnumbersifn0]记住for必须出现在if之前筛选条件的if。如果是在表达式里用三元if...else那是另一回事。错误2字典推导式漏写冒号# 错误{x x*2forxinrange(3)}# SyntaxError# 正确{x:x*2forxinrange(3)}# {0: 0, 1: 2, 2: 4}错误3变量作用域误解推导式里的变量不会泄露到外部Python 3 中[xforxinrange(5)]print(x)# NameError: name x is not defined但如果在推导式之外定义了同名变量推导式会使用外部变量但不会修改它x10result[xforxinrange(3)]print(x)# 仍然是 10推导式里的 x 是局部作用域错误4嵌套推导式中的变量冲突# 两个循环用了同一个变量名会互相覆盖result[(x,y)forxinrange(3)forxinrange(3)]# 内层 x 覆盖外层 x避免方式内外层用不同的变量名。调试技巧如果推导式的结果不符合预期把它拆成普通循环加print调试# 推导式result[f(x)forxindataifg(x)]# 拆开调试result[]forxindata:print(f处理:{x})ifg(x):print(f通过:{x})result.append(f(x))确认逻辑正确后再改回推导式。⑨ 性能对比推导式 versus 普通循环推导式在 CPython 中通常比普通循环快因为它的循环逻辑在 C 层面执行减少了 Python 字节码的解释开销。简单测试可以在自己电脑上跑一下importtime datalist(range(1000000))# 普通循环starttime.time()result1[]forxindata:result1.append(x*2)print(time.time()-start)# 推导式starttime.time()result2[x*2forxindata]print(time.time()-start)在大多数环境下推导式会比普通循环快 20%-40%。但这不意味着所有场景都要用推导式——性能提升在大多数业务场景中感知不到可读性才是第一优先级。map/filter 与推导式的对比# map filter 写法resultlist(map(lambdax:x*2,filter(lambdax:x%20,numbers)))# 推导式写法result[x*2forxinnumbersifx%20]推导式不仅更快避免了 lambda 函数的调用开销而且更易读。所以在 Python 社区推导式已经基本取代了map和filter的常见用法。什么时候不用推导式循环体内有副作用如写入文件、打印日志需要break或continue提前终止逻辑复杂需要多步状态累积代码可读性明显下降⑩ 综合案例数据清洗任务全流程最后用一个完整的例子把前面所有知识点串起来。场景从一份原始的用户数据中清洗出有效信息。原始数据是一个字典列表每个字典包含用户的姓名、年龄、邮箱和注册时间。但数据存在各种问题年龄缺失、邮箱格式错误、注册时间格式不统一等。# 原始数据raw_users[{name:张三,age:25,email:zhangsanexample.com,registered:2023-01-15},{name:李四,age:None,email:lisi#example.com,registered:2023/02/20},{name:王五,age:30,email:wangwuexample.com,registered:2023-03-10},{name:赵六,age:22,email:,registered:2023/04/05},{name:孙七,age:28,email:sunqiexample.com,registered:2023-05-12},{name:周八,age:35,email:zhoubaexample.com,registered:invalid}]清洗需求过滤掉age为空或邮箱为空的用户验证邮箱格式包含和.将注册时间统一转为YYYY-MM-DD格式处理/分隔符和无效值只保留姓名、清洗后的邮箱、清洗后的注册时间生成清洗报告清洗前后的数据量用推导式分步实现# 步骤1过滤掉 age 为空 或 email 为空的用户filtered[uforuinraw_usersifu[age]isnotNoneandu[email]!]print(f过滤空字段后:{len(filtered)}条)# 步骤2验证邮箱格式简单校验包含 和 .valid_emails[uforuinfilteredifinu[email]and.inu[email]]print(f邮箱格式有效:{len(valid_emails)}条)# 步骤3清洗注册时间格式defclean_date(date_str):将日期统一转为 YYYY-MM-DD 格式ifnotdate_strordate_strinvalid:returnNoneif/indate_str:partsdate_str.split(/)iflen(parts)3:returnf{parts[0]}-{parts[1].zfill(2)}-{parts[2].zfill(2)}if-indate_str:partsdate_str.split(-)iflen(parts)3andlen(parts[0])4:returndate_strreturnNone# 用推导式构建清洗后的数据cleaned_users[{name:u[name],email:u[email],registered:clean_date(u[registered])}foruinvalid_emailsifclean_date(u[registered])isnotNone# 过滤掉日期无效的记录]print(f最终有效数据:{len(cleaned_users)}条)# 输出清洗后的结果print(\n清洗后的数据)foruincleaned_users:print(f{u})运行结果过滤空字段后: 5 条 邮箱格式有效: 4 条 最终有效数据: 3 条 清洗后的数据 {name: 张三, email: zhangsanexample.com, registered: 2023-01-15} {name: 王五, email: wangwuexample.com, registered: 2023-03-10} {name: 孙七, email: sunqiexample.com, registered: 2023-05-12}这个案例体现了推导式的核心价值数据处理往往是一系列过滤-转换-收集的操作推导式让每一步都清晰地表达在了一行里整个流程一眼就能看懂。实际工作中数据清洗的逻辑可能更复杂但思路是一样的把每一步拆成独立的推导式或函数组合起来就能完成完整的数据流水线。
