数据分析这活儿很多人卡在第一步脑子里知道要算什么手上却要翻半天Pandas文档或者写出来的代码又臭又长。我做了几年数据相关的工作最深的体会是——Pandas本身不难难的是把业务问题翻译成代码逻辑这一步。而Prompt恰好能补上这个翻译环节。这篇内容就是聊聊我平时怎么把Prompt和Pandas捏在一起用让写代码这件事从查文档拼凑变成说人话就能跑。不管你是刚学Pandas的新手还是天天跟DataFrame打交道的老手这里面的思路和实操细节都能直接拿去用。1. 为什么要把Prompt和Pandas放在一起用1.1 数据分析的真实痛点不在语法刚入门的时候我也觉得Pandas的难点在于记不住API。groupby后面跟agg还是applymerge的how参数有几种取值pivot_table的aggfunc默认是什么——这些东西查查文档就解决了。但真正做项目的时候你会发现卡住你的从来不是语法而是我到底该怎么拆解这个需求。举个例子业务方跟你说帮我看看哪些用户的消费在下降。这句话翻译成Pandas操作至少涉及定义消费下降的时间窗口、计算每个用户在不同窗口的消费总额、做对比、筛选出下降的、可能还要按下降幅度排序。这一连串逻辑有经验的人能一气呵成新手就容易写着写着乱了阵脚。Prompt的价值就在这里它不帮你记API它帮你理清思路。你把业务描述丢给它它能给你一个操作链条的草稿你在这个草稿上改比从零开始快得多。1.2 Prompt不是代码生成器是思路放大器很多人对Prompt有个误解觉得它就是我说一句它给我一段代码。这种用法在简单场景下确实能用但稍微复杂一点就翻车——因为它不知道你的数据结构、不知道你的业务约束、不知道你后续还要做什么。我的用法是把Prompt当成一个随时在线的、脾气很好的、但需要你把话说清楚的搭档。你告诉它你的DataFrame长什么样、有哪些列、每列什么含义、你想达到什么效果然后让它给你一个思路框架。代码它当然也能给但更重要的是它给的那个拆解方式——那个才是你真正要学的东西。1.3 这套组合适合谁说实话这套方法对三类人收益最大刚学完Pandas基础、但不知道怎么用到实际项目的人。你已经会read_csv、会loc、会groupby了但拿到一个真实数据集就懵。Prompt能帮你把大问题拆成小操作。经常做重复性数据分析、想提效的人。有些分析逻辑你每次都要重新写一遍用Prompt可以快速生成模板改改列名就能用。需要跟非技术同事沟通分析思路的人。你用Prompt把业务语言转成操作步骤再拿这个步骤去跟对方确认比直接甩代码过去高效得多。2. 用Prompt拆解Pandas任务的核心方法2.1 描述数据结构让Prompt知道你在跟什么打交道这是最容易被忽略的一步。你直接说帮我算每个用户的月均消费它给你的代码可能用resample也可能用groupby加dt.to_period但如果你告诉它你的日期列是字符串格式还是datetime、有没有缺失值、用户ID列叫什么名字它给的方案会精准得多。我通常这样描述我有一个DataFrame叫df包含以下列 - user_id: 用户ID整数无缺失 - order_date: 下单日期字符串格式2024-01-15有少量缺失 - amount: 订单金额浮点数有负值表示退款 - category: 商品类别字符串有缺失值 我想计算每个用户每月的净消费额退款要扣掉然后找出连续三个月消费下降的用户。你看这样描述之后Prompt给出的方案会直接考虑到负值处理、日期转换、缺失值策略这些细节而不是给你一个理论上正确但跑不通的代码。提示描述数据结构时重点说清楚三件事——列名和类型、缺失值情况、特殊值含义。这三样决定了后续所有操作的写法。2.2 把业务语言翻译成操作链条这是Prompt最擅长的部分。你给它一段业务描述让它输出一个操作步骤清单而不是直接给代码。这样做的好处是你可以先检查逻辑对不对再让它生成代码。比如你说业务需求找出复购率下降的品类。 复购率定义同一用户在同一品类下30天内下单两次及以上。 对比方式本月 vs 上月。让它输出步骤它可能会给你筛选出本月和上月的数据按用户品类分组计算每个用户在每个品类下的下单时间间隔标记出间隔≤30天的记录按品类汇总复购用户数计算复购率 复购用户数 / 总用户数对比两个月的复购率你一看第2步有问题——计算下单时间间隔应该是排序后计算相邻订单的时间差。你改一下再让它生成代码出来的东西就能直接用了。2.3 让Prompt帮你选API什么时候用merge什么时候用joinPandas里做表关联有好几种写法merge、join、concat各有适用场景。新手容易纠结用哪个老手有时候也会选错。我的做法是直接把场景描述给Prompt让它推荐并说明理由。比如我有两个DataFrame - df_orders: 订单表有user_id和order_date - df_users: 用户表有user_id和register_date 我想把register_date加到订单表里只保留订单表里有的用户。它会告诉你用mergehowleft并且提醒你如果两个表的user_id类型不一致一个int一个str需要先统一。这种提醒就是经验的价值——你自己可能想不到但它见过足够多的案例知道这里容易出问题。2.4 用Prompt生成可复用的函数模板有些分析逻辑你会反复用比如计算每个组的环比增长率、找出异常值并标记。这时候可以让Prompt帮你写成一个函数参数化列名和分组键。def calc_mom_growth(df, group_col, date_col, value_col): 计算每个分组的环比增长率 df: 数据框 group_col: 分组列名 date_col: 日期列名需为datetime类型 value_col: 数值列名 df df.copy() df[period] df[date_col].dt.to_period(M) grouped df.groupby([group_col, period])[value_col].sum().reset_index() grouped grouped.sort_values([group_col, period]) grouped[prev] grouped.groupby(group_col)[value_col].shift(1) grouped[growth_rate] (grouped[value_col] - grouped[prev]) / grouped[prev] return grouped这种函数写一次以后改改列名就能用。Prompt生成这类模板很快但你要检查它的边界处理——比如除零、缺失值、排序是否正确。3. 几个我实际用过的Prompt-Pandas组合场景3.1 数据清洗让Prompt帮你写缺失值处理策略缺失值处理没有标准答案取决于业务含义。但Prompt可以帮你列出所有可能的策略并说明每种策略的适用场景。我常用的Prompt模板我的数据集有10000行其中age列有15%缺失income列有8%缺失city列有3%缺失。 请给我三种不同的缺失值处理方案并说明每种方案对后续分析的影响。它会给你删除法、填充法均值/中位数/众数、插值法、标记法把缺失作为一个类别。然后你根据业务选。比如city缺失可能填未知比删掉更合理因为缺失本身可能携带信息。3.2 时间序列处理用Prompt理清resample和rolling的区别时间序列是Pandas里最容易绕晕的部分。resample是改变频率rolling是滑动窗口expanding是扩展窗口ewm是指数加权。这几个概念新手经常混。我的做法是让Prompt用同一个数据集演示这四种操作的区别我有一个日频销售数据日期列是datetime销售额列是amount。 请分别用resample、rolling、expanding、ewm计算7天窗口的指标并解释每种方法的输出差异。它会给你一个对比表格你一看就明白了resample(W)是把数据按周聚合行数变少rolling(7)是保持行数不变每行是前7天的统计量expanding是累计到当前行ewm是加权平均。这种对比比看文档快得多。3.3 多表关联Prompt帮你避开merge的坑merge有几个经典坑列名冲突、类型不匹配、笛卡尔积爆炸。我让Prompt在生成merge代码时自动加上检查步骤# 合并前检查 print(df1[key].dtype, df2[key].dtype) print(df1[key].duplicated().sum(), df2[key].duplicated().sum()) # 合并 merged df1.merge(df2, onkey, howleft, validatemany_to_one) # 合并后检查行数变化 print(f合并前: {len(df1)}, 合并后: {len(merged)})validate参数是很多人不知道的它能帮你检查关联关系是否符合预期。如果实际是多对多它会报错避免你得到一个膨胀了的数据集还不知道。3.4 分组聚合用Prompt生成多级groupbygroupby可以多级分组但写起来容易乱。我让Prompt帮我生成一个分组-聚合-展开的完整流程result (df .groupby([category, city]) .agg( total_sales(amount, sum), avg_sales(amount, mean), order_count(order_id, nunique), max_sales(amount, max) ) .reset_index() )这种链式写法比一步步赋值清晰得多。Prompt还能帮你加上observedTrue避免分类变量产生空组合、dropnaFalse保留缺失分组这些细节参数。4. 让Prompt生成的Pandas代码真正能跑起来4.1 类型问题是第一大杀手Prompt生成的代码跑不通十有八九是类型问题。日期列是字符串、数值列是object、ID列一边是int一边是str——这些在Prompt的想象里可能都是对的但你的实际数据不是。我的习惯是在Prompt里明确要求加上类型转换和检查请在代码开头加上dtype检查和转换确保 - 日期列转为datetime - 金额列转为float - ID列统一为str这样生成的代码会自带防御性跑起来顺畅很多。4.2 内存和性能大数据集下的注意事项Prompt生成的代码在小数据集上跑得飞快但数据量一大就卡。常见问题包括循环里反复筛选、merge前不筛选、groupby后不必要地reset_index。我通常会让Prompt在生成代码后额外给一段性能优化建议。比如用category类型存储低基数的字符串列用query代替布尔索引可读性更好性能差不多避免在循环里做df[df[col] val]改用groupby大文件读取时指定dtype和usecols4.3 验证结果Prompt帮你写断言代码跑完不代表结果对。我让Prompt在关键步骤后加上断言assert merged[amount].sum() df1[amount].sum(), 合并后金额总和不一致 assert result[growth_rate].isna().sum() result[category].nunique(), 每个品类的第一行应该没有增长率这些断言能帮你快速定位问题。Prompt写断言很快但你要告诉它什么结果是合理的它才知道该断言什么。4.4 从Prompt到生产代码整理和注释Prompt生成的代码通常比较直白适合快速验证但不适合直接放进生产脚本。我一般会做三件事把重复逻辑抽成函数加上类型注解和docstring把硬编码的列名改成参数这些也可以让Prompt帮你做但你要给它明确的整理要求比如把这段代码重构成三个函数每个函数只做一件事加上类型注解。5. 常见问题与排查思路5.1 Prompt给的代码报KeyError怎么办KeyError通常是因为列名不对。可能是大小写问题、空格问题、或者你描述的时候记错了。排查步骤先print(df.columns.tolist())看实际列名检查是否有前后空格df.columns df.columns.str.strip()检查是否有多级列名df.columns是不是MultiIndex我遇到过一次Prompt生成的代码用Amount实际列名是amount 后面有个空格找了半天。5.2 结果不对但代码不报错这种最麻烦。常见原因数据类型不对导致比较或计算错误比如字符串比较缺失值参与了计算NaN传播分组键有重复或缺失排序不对导致shift或rolling结果错误我的排查方法是把中间结果打印出来一步步验证。Prompt可以帮你生成中间检查点比如在每个关键步骤后加print(df.shape)和print(df.head())。5.3 Prompt理解错了业务逻辑有时候你描述的业务逻辑Prompt理解成了另一个意思。比如你说计算用户留存它可能按次日留存算但你要的是7日留存。解决办法是用具体例子说明。不要只说计算留存率而是说1月1日注册的用户中1月2日还在活跃的比例。有了具体例子Prompt就不容易跑偏。5.4 生成的代码风格不统一如果你多次让Prompt生成代码风格可能不一致。有的用df.loc有的用df[]有的用链式有的用中间变量。我的做法是在Prompt里指定风格比如请使用链式调用避免中间变量或者请使用query方法筛选。这样生成的代码风格统一后续维护方便。6. 把Prompt-Pandas工作流固化下来6.1 建立自己的Prompt模板库用多了之后你会发现某些Prompt反复出现。我把它们整理成了模板用的时候直接改参数数据探索模板描述数据结构让Prompt给出探索性分析建议清洗模板描述缺失值和异常值情况让Prompt给出处理方案分析模板描述业务问题让Prompt拆解操作步骤优化模板贴代码让Prompt给出性能和可读性优化建议这些模板存在笔记里用的时候复制粘贴比每次重新组织语言快得多。6.2 从让Prompt写代码到让Prompt教思路用久了之后我的用法发生了变化以前是帮我写一段代码实现XX现在是我想实现XX请给我三种不同的思路并说明各自的优缺点。这种用法收获更大。因为代码你可以自己写但思路的广度需要积累。Prompt能快速给你多个角度你选一个最适合当前场景的然后自己实现。这样既保证了代码质量又提升了自己的分析能力。6.3 什么时候不该用Prompt也不是所有场景都适合。以下几种情况我建议自己写逻辑特别简单比如df[col].sum()问Prompt反而慢涉及敏感数据不要把真实数据贴给Prompt用脱敏后的结构描述代替需要精确控制比如金融计算、合规相关的逻辑自己写更放心调试阶段报错的时候自己看traceback比问Prompt快6.4 一个完整的实战例子最后给一个我最近做的例子。需求是分析电商订单数据找出高价值但近期不活跃的用户。我的Prompt是这样的我有一个订单表df列包括 - user_id: 用户IDstr - order_date: 下单日期str格式2024-01-15 - amount: 订单金额float有负值表示退款 - status: 订单状态str包括completed、cancelled、refunded 请帮我 1. 先做数据清洗日期转datetime过滤掉cancelled和refunded的订单 2. 计算每个用户的总消费金额和最后一次下单日期 3. 定义高价值为总消费金额排名前20% 4. 定义近期不活跃为最后一次下单日期距今超过90天 5. 找出同时满足两个条件的用户 6. 给出每一步的中间检查点它给出的代码框架很清晰我改了几个列名和阈值就直接用了。中间检查点帮我发现了一个问题有些用户的amount全是负值只退款没消费这些用户在计算总消费时应该排除。这个细节Prompt没考虑到但检查点让我发现了。7. 我踩过的几个坑和对应的解法7.1 别让Prompt猜你的数据最开始用的时候我总是不描述数据结构直接说帮我算个平均值。结果Prompt给的代码用mean()但我的数据里有异常值应该用中位数。后来我学乖了每次都把数据的脾气说清楚有没有异常值、有没有缺失、分布大概什么样。7.2 日期处理是最容易翻车的地方Pandas的日期处理有太多细节pd.to_datetime的format参数、时区问题、dt访问器的各种方法。Prompt生成的日期代码经常在格式上出问题。我的经验是明确告诉Prompt日期的具体格式比如格式是2024-01-15没有时区信息这样它就不会用错解析方式。7.3 groupby之后的索引问题groupby之后默认会把分组键变成索引后续操作容易出错。我现在的习惯是让Prompt在groupby后总是加上reset_index()或者用as_indexFalse参数。这样得到的DataFrame结构更直观不容易搞混。7.4 链式调用的可读性陷阱链式调用看起来很优雅但调试的时候很痛苦——你不知道哪一步出了问题。我的做法是开发阶段用中间变量调试通过后再改成链式。或者让Prompt在链式调用中加上pipe和自定义函数这样既能保持链式结构又能插入检查点。7.5 不要迷信Prompt给的最佳实践Prompt有时候会给出一些理论上很好但实际不适用的建议。比如它可能建议你用apply做复杂计算但在大数据集上apply比向量化操作慢几十倍。我的原则是Prompt给思路性能相关的决策自己判断。遇到不确定的先在小数据集上测试再决定用哪种写法。8. 进阶让Prompt帮你写Pandas的单元测试8.1 为什么Pandas代码需要测试数据分析代码经常改来改去改完之后结果对不对靠肉眼看很难发现。尤其是涉及多步操作的流程中间某一步改了最终结果可能差很多。写几个简单的测试能帮你快速验证。8.2 用Prompt生成测试用例我让Prompt根据我的函数生成测试我有一个函数calc_growth(df, group_col, date_col, value_col) 请帮我写三个测试用例 1. 正常情况两个分组三个月数据 2. 边界情况只有一个分组 3. 异常情况value_col有缺失值它会生成用pytest写的测试代码我改改断言就能用。这样每次改完函数跑一下测试心里有底。8.3 测试数据的构造技巧构造测试数据也有讲究。我通常让Prompt生成一个小的DataFrame包含所有需要测试的场景。比如测试缺失值处理就构造一个既有缺失值又有正常值的数据集。测试分组就构造分组键有重复和缺失的情况。这些测试数据可以复用放在一个conftest.py里所有测试函数共享。9. 关于Prompt和Pandas结合的一些个人体会用了这么久我最大的感受是Prompt不会让你变成Pandas高手但它能让你更快地变成Pandas高手。它帮你跳过查文档、试错、再查文档的循环直接给你一个可用的起点。但真正的成长还是来自于你在这个起点上做的修改、调试和优化。另一个体会是描述问题的能力比写代码的能力更重要。你用Prompt用得顺不顺很大程度上取决于你能不能把业务问题说清楚。这个能力在数据分析里本来就很重要Prompt只是把它放大了。最后别把Prompt当拐杖。有些基础操作比如loc和iloc的区别、merge的几种how、groupby的agg用法该背还是要背。这些是基本功Prompt能帮你一时帮不了你一世。真正遇到复杂场景的时候还是得靠你自己的判断。我现在的工作流大概是遇到新问题先用Prompt理思路、生成框架代码然后自己改、自己调、自己加检查点跑通之后把可复用的部分抽成函数或模板最后把这次的经验补充到我的Prompt模板库里。这个循环转起来之后效率提升是肉眼可见的。
数据分析这活儿很多人卡在第一步脑子里知道要算什么手上却要翻半天Pandas文档或者写出来的代码又臭又长。我做了几年数据相关的工作最深的体会是——Pandas本身不难难的是把业务问题翻译成代码逻辑这一步。而Prompt恰好能补上这个翻译环节。这篇内容就是聊聊我平时怎么把Prompt和Pandas捏在一起用让写代码这件事从查文档拼凑变成说人话就能跑。不管你是刚学Pandas的新手还是天天跟DataFrame打交道的老手这里面的思路和实操细节都能直接拿去用。1. 为什么要把Prompt和Pandas放在一起用1.1 数据分析的真实痛点不在语法刚入门的时候我也觉得Pandas的难点在于记不住API。groupby后面跟agg还是applymerge的how参数有几种取值pivot_table的aggfunc默认是什么——这些东西查查文档就解决了。但真正做项目的时候你会发现卡住你的从来不是语法而是我到底该怎么拆解这个需求。举个例子业务方跟你说帮我看看哪些用户的消费在下降。这句话翻译成Pandas操作至少涉及定义消费下降的时间窗口、计算每个用户在不同窗口的消费总额、做对比、筛选出下降的、可能还要按下降幅度排序。这一连串逻辑有经验的人能一气呵成新手就容易写着写着乱了阵脚。Prompt的价值就在这里它不帮你记API它帮你理清思路。你把业务描述丢给它它能给你一个操作链条的草稿你在这个草稿上改比从零开始快得多。1.2 Prompt不是代码生成器是思路放大器很多人对Prompt有个误解觉得它就是我说一句它给我一段代码。这种用法在简单场景下确实能用但稍微复杂一点就翻车——因为它不知道你的数据结构、不知道你的业务约束、不知道你后续还要做什么。我的用法是把Prompt当成一个随时在线的、脾气很好的、但需要你把话说清楚的搭档。你告诉它你的DataFrame长什么样、有哪些列、每列什么含义、你想达到什么效果然后让它给你一个思路框架。代码它当然也能给但更重要的是它给的那个拆解方式——那个才是你真正要学的东西。1.3 这套组合适合谁说实话这套方法对三类人收益最大刚学完Pandas基础、但不知道怎么用到实际项目的人。你已经会read_csv、会loc、会groupby了但拿到一个真实数据集就懵。Prompt能帮你把大问题拆成小操作。经常做重复性数据分析、想提效的人。有些分析逻辑你每次都要重新写一遍用Prompt可以快速生成模板改改列名就能用。需要跟非技术同事沟通分析思路的人。你用Prompt把业务语言转成操作步骤再拿这个步骤去跟对方确认比直接甩代码过去高效得多。2. 用Prompt拆解Pandas任务的核心方法2.1 描述数据结构让Prompt知道你在跟什么打交道这是最容易被忽略的一步。你直接说帮我算每个用户的月均消费它给你的代码可能用resample也可能用groupby加dt.to_period但如果你告诉它你的日期列是字符串格式还是datetime、有没有缺失值、用户ID列叫什么名字它给的方案会精准得多。我通常这样描述我有一个DataFrame叫df包含以下列 - user_id: 用户ID整数无缺失 - order_date: 下单日期字符串格式2024-01-15有少量缺失 - amount: 订单金额浮点数有负值表示退款 - category: 商品类别字符串有缺失值 我想计算每个用户每月的净消费额退款要扣掉然后找出连续三个月消费下降的用户。你看这样描述之后Prompt给出的方案会直接考虑到负值处理、日期转换、缺失值策略这些细节而不是给你一个理论上正确但跑不通的代码。提示描述数据结构时重点说清楚三件事——列名和类型、缺失值情况、特殊值含义。这三样决定了后续所有操作的写法。2.2 把业务语言翻译成操作链条这是Prompt最擅长的部分。你给它一段业务描述让它输出一个操作步骤清单而不是直接给代码。这样做的好处是你可以先检查逻辑对不对再让它生成代码。比如你说业务需求找出复购率下降的品类。 复购率定义同一用户在同一品类下30天内下单两次及以上。 对比方式本月 vs 上月。让它输出步骤它可能会给你筛选出本月和上月的数据按用户品类分组计算每个用户在每个品类下的下单时间间隔标记出间隔≤30天的记录按品类汇总复购用户数计算复购率 复购用户数 / 总用户数对比两个月的复购率你一看第2步有问题——计算下单时间间隔应该是排序后计算相邻订单的时间差。你改一下再让它生成代码出来的东西就能直接用了。2.3 让Prompt帮你选API什么时候用merge什么时候用joinPandas里做表关联有好几种写法merge、join、concat各有适用场景。新手容易纠结用哪个老手有时候也会选错。我的做法是直接把场景描述给Prompt让它推荐并说明理由。比如我有两个DataFrame - df_orders: 订单表有user_id和order_date - df_users: 用户表有user_id和register_date 我想把register_date加到订单表里只保留订单表里有的用户。它会告诉你用mergehowleft并且提醒你如果两个表的user_id类型不一致一个int一个str需要先统一。这种提醒就是经验的价值——你自己可能想不到但它见过足够多的案例知道这里容易出问题。2.4 用Prompt生成可复用的函数模板有些分析逻辑你会反复用比如计算每个组的环比增长率、找出异常值并标记。这时候可以让Prompt帮你写成一个函数参数化列名和分组键。def calc_mom_growth(df, group_col, date_col, value_col): 计算每个分组的环比增长率 df: 数据框 group_col: 分组列名 date_col: 日期列名需为datetime类型 value_col: 数值列名 df df.copy() df[period] df[date_col].dt.to_period(M) grouped df.groupby([group_col, period])[value_col].sum().reset_index() grouped grouped.sort_values([group_col, period]) grouped[prev] grouped.groupby(group_col)[value_col].shift(1) grouped[growth_rate] (grouped[value_col] - grouped[prev]) / grouped[prev] return grouped这种函数写一次以后改改列名就能用。Prompt生成这类模板很快但你要检查它的边界处理——比如除零、缺失值、排序是否正确。3. 几个我实际用过的Prompt-Pandas组合场景3.1 数据清洗让Prompt帮你写缺失值处理策略缺失值处理没有标准答案取决于业务含义。但Prompt可以帮你列出所有可能的策略并说明每种策略的适用场景。我常用的Prompt模板我的数据集有10000行其中age列有15%缺失income列有8%缺失city列有3%缺失。 请给我三种不同的缺失值处理方案并说明每种方案对后续分析的影响。它会给你删除法、填充法均值/中位数/众数、插值法、标记法把缺失作为一个类别。然后你根据业务选。比如city缺失可能填未知比删掉更合理因为缺失本身可能携带信息。3.2 时间序列处理用Prompt理清resample和rolling的区别时间序列是Pandas里最容易绕晕的部分。resample是改变频率rolling是滑动窗口expanding是扩展窗口ewm是指数加权。这几个概念新手经常混。我的做法是让Prompt用同一个数据集演示这四种操作的区别我有一个日频销售数据日期列是datetime销售额列是amount。 请分别用resample、rolling、expanding、ewm计算7天窗口的指标并解释每种方法的输出差异。它会给你一个对比表格你一看就明白了resample(W)是把数据按周聚合行数变少rolling(7)是保持行数不变每行是前7天的统计量expanding是累计到当前行ewm是加权平均。这种对比比看文档快得多。3.3 多表关联Prompt帮你避开merge的坑merge有几个经典坑列名冲突、类型不匹配、笛卡尔积爆炸。我让Prompt在生成merge代码时自动加上检查步骤# 合并前检查 print(df1[key].dtype, df2[key].dtype) print(df1[key].duplicated().sum(), df2[key].duplicated().sum()) # 合并 merged df1.merge(df2, onkey, howleft, validatemany_to_one) # 合并后检查行数变化 print(f合并前: {len(df1)}, 合并后: {len(merged)})validate参数是很多人不知道的它能帮你检查关联关系是否符合预期。如果实际是多对多它会报错避免你得到一个膨胀了的数据集还不知道。3.4 分组聚合用Prompt生成多级groupbygroupby可以多级分组但写起来容易乱。我让Prompt帮我生成一个分组-聚合-展开的完整流程result (df .groupby([category, city]) .agg( total_sales(amount, sum), avg_sales(amount, mean), order_count(order_id, nunique), max_sales(amount, max) ) .reset_index() )这种链式写法比一步步赋值清晰得多。Prompt还能帮你加上observedTrue避免分类变量产生空组合、dropnaFalse保留缺失分组这些细节参数。4. 让Prompt生成的Pandas代码真正能跑起来4.1 类型问题是第一大杀手Prompt生成的代码跑不通十有八九是类型问题。日期列是字符串、数值列是object、ID列一边是int一边是str——这些在Prompt的想象里可能都是对的但你的实际数据不是。我的习惯是在Prompt里明确要求加上类型转换和检查请在代码开头加上dtype检查和转换确保 - 日期列转为datetime - 金额列转为float - ID列统一为str这样生成的代码会自带防御性跑起来顺畅很多。4.2 内存和性能大数据集下的注意事项Prompt生成的代码在小数据集上跑得飞快但数据量一大就卡。常见问题包括循环里反复筛选、merge前不筛选、groupby后不必要地reset_index。我通常会让Prompt在生成代码后额外给一段性能优化建议。比如用category类型存储低基数的字符串列用query代替布尔索引可读性更好性能差不多避免在循环里做df[df[col] val]改用groupby大文件读取时指定dtype和usecols4.3 验证结果Prompt帮你写断言代码跑完不代表结果对。我让Prompt在关键步骤后加上断言assert merged[amount].sum() df1[amount].sum(), 合并后金额总和不一致 assert result[growth_rate].isna().sum() result[category].nunique(), 每个品类的第一行应该没有增长率这些断言能帮你快速定位问题。Prompt写断言很快但你要告诉它什么结果是合理的它才知道该断言什么。4.4 从Prompt到生产代码整理和注释Prompt生成的代码通常比较直白适合快速验证但不适合直接放进生产脚本。我一般会做三件事把重复逻辑抽成函数加上类型注解和docstring把硬编码的列名改成参数这些也可以让Prompt帮你做但你要给它明确的整理要求比如把这段代码重构成三个函数每个函数只做一件事加上类型注解。5. 常见问题与排查思路5.1 Prompt给的代码报KeyError怎么办KeyError通常是因为列名不对。可能是大小写问题、空格问题、或者你描述的时候记错了。排查步骤先print(df.columns.tolist())看实际列名检查是否有前后空格df.columns df.columns.str.strip()检查是否有多级列名df.columns是不是MultiIndex我遇到过一次Prompt生成的代码用Amount实际列名是amount 后面有个空格找了半天。5.2 结果不对但代码不报错这种最麻烦。常见原因数据类型不对导致比较或计算错误比如字符串比较缺失值参与了计算NaN传播分组键有重复或缺失排序不对导致shift或rolling结果错误我的排查方法是把中间结果打印出来一步步验证。Prompt可以帮你生成中间检查点比如在每个关键步骤后加print(df.shape)和print(df.head())。5.3 Prompt理解错了业务逻辑有时候你描述的业务逻辑Prompt理解成了另一个意思。比如你说计算用户留存它可能按次日留存算但你要的是7日留存。解决办法是用具体例子说明。不要只说计算留存率而是说1月1日注册的用户中1月2日还在活跃的比例。有了具体例子Prompt就不容易跑偏。5.4 生成的代码风格不统一如果你多次让Prompt生成代码风格可能不一致。有的用df.loc有的用df[]有的用链式有的用中间变量。我的做法是在Prompt里指定风格比如请使用链式调用避免中间变量或者请使用query方法筛选。这样生成的代码风格统一后续维护方便。6. 把Prompt-Pandas工作流固化下来6.1 建立自己的Prompt模板库用多了之后你会发现某些Prompt反复出现。我把它们整理成了模板用的时候直接改参数数据探索模板描述数据结构让Prompt给出探索性分析建议清洗模板描述缺失值和异常值情况让Prompt给出处理方案分析模板描述业务问题让Prompt拆解操作步骤优化模板贴代码让Prompt给出性能和可读性优化建议这些模板存在笔记里用的时候复制粘贴比每次重新组织语言快得多。6.2 从让Prompt写代码到让Prompt教思路用久了之后我的用法发生了变化以前是帮我写一段代码实现XX现在是我想实现XX请给我三种不同的思路并说明各自的优缺点。这种用法收获更大。因为代码你可以自己写但思路的广度需要积累。Prompt能快速给你多个角度你选一个最适合当前场景的然后自己实现。这样既保证了代码质量又提升了自己的分析能力。6.3 什么时候不该用Prompt也不是所有场景都适合。以下几种情况我建议自己写逻辑特别简单比如df[col].sum()问Prompt反而慢涉及敏感数据不要把真实数据贴给Prompt用脱敏后的结构描述代替需要精确控制比如金融计算、合规相关的逻辑自己写更放心调试阶段报错的时候自己看traceback比问Prompt快6.4 一个完整的实战例子最后给一个我最近做的例子。需求是分析电商订单数据找出高价值但近期不活跃的用户。我的Prompt是这样的我有一个订单表df列包括 - user_id: 用户IDstr - order_date: 下单日期str格式2024-01-15 - amount: 订单金额float有负值表示退款 - status: 订单状态str包括completed、cancelled、refunded 请帮我 1. 先做数据清洗日期转datetime过滤掉cancelled和refunded的订单 2. 计算每个用户的总消费金额和最后一次下单日期 3. 定义高价值为总消费金额排名前20% 4. 定义近期不活跃为最后一次下单日期距今超过90天 5. 找出同时满足两个条件的用户 6. 给出每一步的中间检查点它给出的代码框架很清晰我改了几个列名和阈值就直接用了。中间检查点帮我发现了一个问题有些用户的amount全是负值只退款没消费这些用户在计算总消费时应该排除。这个细节Prompt没考虑到但检查点让我发现了。7. 我踩过的几个坑和对应的解法7.1 别让Prompt猜你的数据最开始用的时候我总是不描述数据结构直接说帮我算个平均值。结果Prompt给的代码用mean()但我的数据里有异常值应该用中位数。后来我学乖了每次都把数据的脾气说清楚有没有异常值、有没有缺失、分布大概什么样。7.2 日期处理是最容易翻车的地方Pandas的日期处理有太多细节pd.to_datetime的format参数、时区问题、dt访问器的各种方法。Prompt生成的日期代码经常在格式上出问题。我的经验是明确告诉Prompt日期的具体格式比如格式是2024-01-15没有时区信息这样它就不会用错解析方式。7.3 groupby之后的索引问题groupby之后默认会把分组键变成索引后续操作容易出错。我现在的习惯是让Prompt在groupby后总是加上reset_index()或者用as_indexFalse参数。这样得到的DataFrame结构更直观不容易搞混。7.4 链式调用的可读性陷阱链式调用看起来很优雅但调试的时候很痛苦——你不知道哪一步出了问题。我的做法是开发阶段用中间变量调试通过后再改成链式。或者让Prompt在链式调用中加上pipe和自定义函数这样既能保持链式结构又能插入检查点。7.5 不要迷信Prompt给的最佳实践Prompt有时候会给出一些理论上很好但实际不适用的建议。比如它可能建议你用apply做复杂计算但在大数据集上apply比向量化操作慢几十倍。我的原则是Prompt给思路性能相关的决策自己判断。遇到不确定的先在小数据集上测试再决定用哪种写法。8. 进阶让Prompt帮你写Pandas的单元测试8.1 为什么Pandas代码需要测试数据分析代码经常改来改去改完之后结果对不对靠肉眼看很难发现。尤其是涉及多步操作的流程中间某一步改了最终结果可能差很多。写几个简单的测试能帮你快速验证。8.2 用Prompt生成测试用例我让Prompt根据我的函数生成测试我有一个函数calc_growth(df, group_col, date_col, value_col) 请帮我写三个测试用例 1. 正常情况两个分组三个月数据 2. 边界情况只有一个分组 3. 异常情况value_col有缺失值它会生成用pytest写的测试代码我改改断言就能用。这样每次改完函数跑一下测试心里有底。8.3 测试数据的构造技巧构造测试数据也有讲究。我通常让Prompt生成一个小的DataFrame包含所有需要测试的场景。比如测试缺失值处理就构造一个既有缺失值又有正常值的数据集。测试分组就构造分组键有重复和缺失的情况。这些测试数据可以复用放在一个conftest.py里所有测试函数共享。9. 关于Prompt和Pandas结合的一些个人体会用了这么久我最大的感受是Prompt不会让你变成Pandas高手但它能让你更快地变成Pandas高手。它帮你跳过查文档、试错、再查文档的循环直接给你一个可用的起点。但真正的成长还是来自于你在这个起点上做的修改、调试和优化。另一个体会是描述问题的能力比写代码的能力更重要。你用Prompt用得顺不顺很大程度上取决于你能不能把业务问题说清楚。这个能力在数据分析里本来就很重要Prompt只是把它放大了。最后别把Prompt当拐杖。有些基础操作比如loc和iloc的区别、merge的几种how、groupby的agg用法该背还是要背。这些是基本功Prompt能帮你一时帮不了你一世。真正遇到复杂场景的时候还是得靠你自己的判断。我现在的工作流大概是遇到新问题先用Prompt理思路、生成框架代码然后自己改、自己调、自己加检查点跑通之后把可复用的部分抽成函数或模板最后把这次的经验补充到我的Prompt模板库里。这个循环转起来之后效率提升是肉眼可见的。
