前言「查找」是正则最基础也最实用的功能从一段没有结构的文字里把符合某种形状的信息一条条揪出来。这听起来简单但真做起来选择findall还是finditer、要不要用命名分组、怎么处理缺失字段都会影响结果质量。本文用一个完整的案例把「查找」讲透手头有一段参会人员名单每行的格式不完全整齐字段之间空格数量不一个别行还缺字段。目标是把它解析成结构化的记录列表。这类「半结构化文本」正是正则查找的主场。顺便纠正一个常见误解不要指望一个邮箱正则能匹配「所有合法邮箱」。RFC 对邮箱地址的规定极其宽松实践中通用的做法是「只匹配你确实会遇到的那一类宁可漏也不要错」需要严格校验时交给专门的校验环节而不是无限膨胀正则。示例基于 Python 3.8。一、案例数据与目标待处理的文本大致长这样字段用空白分隔但空白多少不定有缺失值张伟 13800138000 zhangweiexample.com李娜 13912345678 linatest.org王强 137-0000-1111 wangdemo.cn赵敏 无 zhaominexample.com目标是逐行提取出姓名、电话、邮箱。难点有三处空白数量不固定电话有带连字符和不带两种写法有的行电话号码位置写的是「无」。二、先定模式再选函数re的查找类函数有四个本案例该选哪个取决于「要结果还是要过程」函数返回是否带分组信息适用re.search第一个Match或None有只关心有没有、第一条re.match从开头匹配的Match有每行字段固定在行首re.findall字符串 / 元组列表分组退化成元组只要字段值re.finditerMatch迭代器完整保留要用命名分组、位置信息本案例要按名字取值findall一旦出现多个分组就只能拿到元组丢了名字信息所以选re.finditer。三、完整实现# 适用于 Python 3.8import retext 张伟 13800138000 zhangweiexample.com李娜 13912345678 linatest.org王强 137-0000-1111 wangdemo.cn赵敏 无 zhaominexample.comRECORD re.compile(r(?Pname[一-鿿]{2,4})\sr(?Pphone1[3-9]\d{9}|[\d-]{7,}|无)\sr(?Pemail[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}))records []for m in RECORD.finditer(text):d m.groupdict() # {name: ..., phone: ..., email: ...}phone_digits re.sub(r\D, , d[phone]) # 去掉连字符等非数字records.append({name: d[name],phone: phone_digits or d[phone], # 「无」清理后为空保留原值email: d[email],})for r in records:print(r)各部分拆开看(?Pname[一-鿿]{2,4})中文姓名按 2 到 4 个汉字估算。一到鿿覆盖 CJK 统一表意文字基本区是常见的中文匹配区间。\s字段之间的分隔空白一个或多个都行正好解决空格数量不等的问题。(?Pphone1[3-9]\d{9}|[\d-]{7,}|无)三种可接受形态。第一支是标准 11 位手机号第二支容忍带连字符的写法第三支直接接受「无」。re.sub(r\D, , ...)\D是「非数字」的补集把连字符之类清掉再存。m.groupdict()返回的就是「名字到内容」的字典再配合.items()遍历Python 3 里.items()返回视图Python 2 的dict.iteritems()早已被移除不要再用旧写法。四、加一层校验与容错真实数据里难免有整行不匹配的情况。finditer只产出匹配上的记录漏掉的行不会报错也不会提示所以最好顺手记一笔# 适用于 Python 3.8import relines [张伟 13800138000 zhangweiexample.com, 格式不对的一行]RECORD re.compile(r(?Pname[一-鿿]{2,4})\sr(?Pphone1[3-9]\d{9}|[\d-]{7,}|无)\sr(?Pemail[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}))ok, bad [], []for line in lines:m RECORD.fullmatch(line) # 整行匹配避免只匹配到前一部分if m:ok.append(m.groupdict())else:bad.append(line)print(解析成功, len(ok))print(跳过, bad)这里用一个fullmatch的思路做校验只有整行都符合模式才算解析成功避免模式只匹配到前半截、后半截被静默丢弃。re.fullmatch需要 Python 3.4更早的版本可以给模式末尾加\Z再配合re.match。五、让查找更稳的两个技巧技巧一用边界断言防止「切到别人一半」。手机号模式1[3-9]\d{9}在一串更长的数字里也能命中中间一段例如长订单号里的连续数字。用前后断言把它卡住# 适用于 Python 3.8import res 订单号 9913800138000888 联系 13800138000loose re.findall(r1[3-9]\d{9}, s)strict re.findall(r(?!\d)1[3-9]\d{9}(?!\d), s)print(loose) # [13800138000, 13800138000]长号码里也切出了一段print(strict) # [13800138000]只保留前后都不是数字的(?!\d)和(?!\d)是前后向断言本身不消耗字符只检查紧邻位置是不是数字因此不会影响匹配到的文本本身。技巧二多行日志用re.MULTILINE按行查找。带^、$的按行模式配合re.findall统计很方便# 适用于 Python 3.8import refrom collections import Counterlog GET /a 200\nGET /b 404\nPOST /a 200\nGET /a 200codes re.findall(r\s(\d{3})$, log, flagsre.MULTILINE)print(Counter(codes)) # Counter({200: 3, 404: 1})默认情况下$只匹配整串末尾加了re.MULTILINE行内写(?m)后才会匹配每一行末尾。常见坑点❌ 用re.findall拿带命名分组的结果以为会返回字典实际得到的是元组列表。✅findall会丢命名信息需要按名字取值就用re.finditer配m.groupdict()。❌ 用re.match逐行解析字段不在行首的行全部漏掉。✅ 字段固定在行首才用match游离位置用search或finditer。❌ 邮箱模式写成\S\S把紧跟其后的标点也一起吞进地址里。✅ 用字符集限定如[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}宁可窄一点。❌ 用re.fullmatch校验整行时不检查返回值缺失字段的行被当成解析成功。✅fullmatch失败返回None必须先判断if m:再取值。❌ 分隔符写死成一个空格r(\w) (\d)遇到两个空格的行就匹配不上。✅ 用\s表示「一个或多个空白」对排版差异更宽容。❌ 用贪心的.*拼模式跨字段把后面几列一起吞掉。✅ 用精确的字符集\S、[^,]或者懒惰的.*?把匹配范围卡住。❌ 提取出来的电话号码直接拿去比较带连字符和不带连字符的同一号码被当成两个。✅ 先re.sub(r\D, , s)归一化再比较同时保留原始值用于展示。❌ 在循环里对同一段文本反复调用re.compile把每次查找都变成一次重新编译。✅ 模式在循环外编译一次re内部虽有缓存但显式编译更清晰也更可控。总结环节选择理由逐条提取re.finditer保留命名分组与位置整行校验re.fullmatch避免半截匹配字段容错交替分支 归一化re.sub(r\D, , s)比较前统一格式漏行记录遍历 else分支不静默丢数据正则查找的功夫一半在写模式一半在选函数。模式要「窄」——用具体字符集而不是.*用\s容忍排版差异函数要「对」——需要字段名就用finditer需要整行校验就用fullmatch。把这两件事分开想清楚半结构化文本的提取就稳了。
前言「查找」是正则最基础也最实用的功能从一段没有结构的文字里把符合某种形状的信息一条条揪出来。这听起来简单但真做起来选择findall还是finditer、要不要用命名分组、怎么处理缺失字段都会影响结果质量。本文用一个完整的案例把「查找」讲透手头有一段参会人员名单每行的格式不完全整齐字段之间空格数量不一个别行还缺字段。目标是把它解析成结构化的记录列表。这类「半结构化文本」正是正则查找的主场。顺便纠正一个常见误解不要指望一个邮箱正则能匹配「所有合法邮箱」。RFC 对邮箱地址的规定极其宽松实践中通用的做法是「只匹配你确实会遇到的那一类宁可漏也不要错」需要严格校验时交给专门的校验环节而不是无限膨胀正则。示例基于 Python 3.8。一、案例数据与目标待处理的文本大致长这样字段用空白分隔但空白多少不定有缺失值张伟 13800138000 zhangweiexample.com李娜 13912345678 linatest.org王强 137-0000-1111 wangdemo.cn赵敏 无 zhaominexample.com目标是逐行提取出姓名、电话、邮箱。难点有三处空白数量不固定电话有带连字符和不带两种写法有的行电话号码位置写的是「无」。二、先定模式再选函数re的查找类函数有四个本案例该选哪个取决于「要结果还是要过程」函数返回是否带分组信息适用re.search第一个Match或None有只关心有没有、第一条re.match从开头匹配的Match有每行字段固定在行首re.findall字符串 / 元组列表分组退化成元组只要字段值re.finditerMatch迭代器完整保留要用命名分组、位置信息本案例要按名字取值findall一旦出现多个分组就只能拿到元组丢了名字信息所以选re.finditer。三、完整实现# 适用于 Python 3.8import retext 张伟 13800138000 zhangweiexample.com李娜 13912345678 linatest.org王强 137-0000-1111 wangdemo.cn赵敏 无 zhaominexample.comRECORD re.compile(r(?Pname[一-鿿]{2,4})\sr(?Pphone1[3-9]\d{9}|[\d-]{7,}|无)\sr(?Pemail[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}))records []for m in RECORD.finditer(text):d m.groupdict() # {name: ..., phone: ..., email: ...}phone_digits re.sub(r\D, , d[phone]) # 去掉连字符等非数字records.append({name: d[name],phone: phone_digits or d[phone], # 「无」清理后为空保留原值email: d[email],})for r in records:print(r)各部分拆开看(?Pname[一-鿿]{2,4})中文姓名按 2 到 4 个汉字估算。一到鿿覆盖 CJK 统一表意文字基本区是常见的中文匹配区间。\s字段之间的分隔空白一个或多个都行正好解决空格数量不等的问题。(?Pphone1[3-9]\d{9}|[\d-]{7,}|无)三种可接受形态。第一支是标准 11 位手机号第二支容忍带连字符的写法第三支直接接受「无」。re.sub(r\D, , ...)\D是「非数字」的补集把连字符之类清掉再存。m.groupdict()返回的就是「名字到内容」的字典再配合.items()遍历Python 3 里.items()返回视图Python 2 的dict.iteritems()早已被移除不要再用旧写法。四、加一层校验与容错真实数据里难免有整行不匹配的情况。finditer只产出匹配上的记录漏掉的行不会报错也不会提示所以最好顺手记一笔# 适用于 Python 3.8import relines [张伟 13800138000 zhangweiexample.com, 格式不对的一行]RECORD re.compile(r(?Pname[一-鿿]{2,4})\sr(?Pphone1[3-9]\d{9}|[\d-]{7,}|无)\sr(?Pemail[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}))ok, bad [], []for line in lines:m RECORD.fullmatch(line) # 整行匹配避免只匹配到前一部分if m:ok.append(m.groupdict())else:bad.append(line)print(解析成功, len(ok))print(跳过, bad)这里用一个fullmatch的思路做校验只有整行都符合模式才算解析成功避免模式只匹配到前半截、后半截被静默丢弃。re.fullmatch需要 Python 3.4更早的版本可以给模式末尾加\Z再配合re.match。五、让查找更稳的两个技巧技巧一用边界断言防止「切到别人一半」。手机号模式1[3-9]\d{9}在一串更长的数字里也能命中中间一段例如长订单号里的连续数字。用前后断言把它卡住# 适用于 Python 3.8import res 订单号 9913800138000888 联系 13800138000loose re.findall(r1[3-9]\d{9}, s)strict re.findall(r(?!\d)1[3-9]\d{9}(?!\d), s)print(loose) # [13800138000, 13800138000]长号码里也切出了一段print(strict) # [13800138000]只保留前后都不是数字的(?!\d)和(?!\d)是前后向断言本身不消耗字符只检查紧邻位置是不是数字因此不会影响匹配到的文本本身。技巧二多行日志用re.MULTILINE按行查找。带^、$的按行模式配合re.findall统计很方便# 适用于 Python 3.8import refrom collections import Counterlog GET /a 200\nGET /b 404\nPOST /a 200\nGET /a 200codes re.findall(r\s(\d{3})$, log, flagsre.MULTILINE)print(Counter(codes)) # Counter({200: 3, 404: 1})默认情况下$只匹配整串末尾加了re.MULTILINE行内写(?m)后才会匹配每一行末尾。常见坑点❌ 用re.findall拿带命名分组的结果以为会返回字典实际得到的是元组列表。✅findall会丢命名信息需要按名字取值就用re.finditer配m.groupdict()。❌ 用re.match逐行解析字段不在行首的行全部漏掉。✅ 字段固定在行首才用match游离位置用search或finditer。❌ 邮箱模式写成\S\S把紧跟其后的标点也一起吞进地址里。✅ 用字符集限定如[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}宁可窄一点。❌ 用re.fullmatch校验整行时不检查返回值缺失字段的行被当成解析成功。✅fullmatch失败返回None必须先判断if m:再取值。❌ 分隔符写死成一个空格r(\w) (\d)遇到两个空格的行就匹配不上。✅ 用\s表示「一个或多个空白」对排版差异更宽容。❌ 用贪心的.*拼模式跨字段把后面几列一起吞掉。✅ 用精确的字符集\S、[^,]或者懒惰的.*?把匹配范围卡住。❌ 提取出来的电话号码直接拿去比较带连字符和不带连字符的同一号码被当成两个。✅ 先re.sub(r\D, , s)归一化再比较同时保留原始值用于展示。❌ 在循环里对同一段文本反复调用re.compile把每次查找都变成一次重新编译。✅ 模式在循环外编译一次re内部虽有缓存但显式编译更清晰也更可控。总结环节选择理由逐条提取re.finditer保留命名分组与位置整行校验re.fullmatch避免半截匹配字段容错交替分支 归一化re.sub(r\D, , s)比较前统一格式漏行记录遍历 else分支不静默丢数据正则查找的功夫一半在写模式一半在选函数。模式要「窄」——用具体字符集而不是.*用\s容忍排版差异函数要「对」——需要字段名就用finditer需要整行校验就用fullmatch。把这两件事分开想清楚半结构化文本的提取就稳了。
