1. 为什么在AIGC时代还要死磕这三个老命令1.1 一个真实的工作场景切入前阵子帮一个做模型训练的朋友排查日志问题他那边跑一个图像生成任务几十万条训练日志散落在十几个文本文件里想找出所有loss异常飙升的片段还要统计每个epoch的平均耗时。他第一反应是写个Python脚本装pandas、读文件、正则匹配、聚合统计折腾了快一个小时脚本还因为编码问题报错。我看了眼他的终端直接甩了三行命令过去十秒钟出结果。他愣了半天说这东西这么好用怎么没人早告诉我。这就是我想聊的核心grep、awk、sed这三个命令是文本处理领域的老三样但在AIGC内容爆炸的今天它们的价值不降反升。为什么因为不管你是处理模型训练日志、清洗语料数据、批量改写配置文件还是从海量生成内容里做模式提取本质上都是在跟纯文本打交道。而这三个命令的设计哲学就是“一行命令解决一类文本问题”不需要起环境、不需要装依赖、不需要写几十行代码管道一接就能干活。很多人对这三个命令的印象停留在“Linux基础课背过参数考完就忘”。我见过太多人grep只会grep 关键词 文件awk只会awk {print $1}sed只会sed s/a/b/然后就觉得“这东西功能也就那样”。实际上这三个命令的组合能力远超大多数人的想象它们各自负责文本处理流水线上的不同环节grep负责筛选sed负责编辑替换awk负责结构化计算。你把它们串起来就是一条完整的文本处理流水线。这篇文章适合谁看如果你是刚接触命令行不久的新手我会从最核心的用法讲起每个参数都告诉你“为什么这么设计”如果你是有一定基础但用得不够深的开发者我会重点讲组合技巧和实战场景尤其是AIGC相关的日志分析、语料清洗、批量处理这些高频需求。全文的实例都可以直接复制到终端里跑我尽量用虚构的示例文件来演示你跟着敲一遍就能掌握。1.2 三个命令的分工逻辑筛选、编辑、计算先把这个底层逻辑讲清楚后面所有内容都围绕它展开。你可以把文本处理想象成一条工厂流水线原材料是原始文本经过一道道工序最后产出你想要的结果。grep是质检员它的工作是从一堆文本里挑出符合条件的行。你给它一个模式它逐行检查匹配的留下不匹配的扔掉。它的核心能力是“按行筛选”不关心行里面具体长什么样只关心“这行符不符合我的条件”。sed是编辑工它的工作是对文本进行修改。替换、删除、插入、追加都是它的活。它的特点是“流式处理”读一行处理一行不需要把整个文件加载到内存里所以处理大文件特别快。sed的核心能力是“按规则改写”。awk是统计员兼报表生成器它的工作是把文本按列拆开然后做计算、做判断、做格式化输出。它内置了变量、循环、条件判断本质上是一门小型的文本处理编程语言。awk的核心能力是“按字段处理并计算”。这三个命令通过管道符|串联起来就形成了“筛选→编辑→计算”的完整链路。举个最简单的例子从日志里找出所有错误行把时间戳格式改一下再统计每种错误出现的次数。一条命令搞定不需要写脚本。注意这三个命令在绝大多数Linux发行版和macOS上都是预装的Windows用户可以通过WSL或者Git Bash来使用。我后面所有的示例都基于bash环境如果你用的是其他shell个别语法可能需要微调。2. grep文本筛选的第一道关卡2.1 核心参数拆解与选择逻辑grep的全称是“global regular expression print”翻译过来就是“全局正则表达式打印”。名字已经把它的工作方式说清楚了用正则表达式去匹配文本把匹配到的行打印出来。先看最基础的用法。假设你有一个日志文件train.log内容大概是这样的2024-01-15 10:23:01 INFO epoch1 loss2.341 lr0.001 2024-01-15 10:23:45 INFO epoch1 loss2.108 lr0.001 2024-01-15 10:24:30 WARN epoch1 lossnan lr0.001 2024-01-15 10:25:12 INFO epoch2 loss1.876 lr0.0009 2024-01-15 10:26:03 ERROR epoch2 lossinf lr0.0009你想找出所有包含ERROR的行直接grep ERROR train.log就行。但实际工作中光这样远远不够。我列一下最常用的参数组合以及每个参数背后的设计考量参数作用什么时候用-i忽略大小写日志里error/Error/ERROR混着写的时候-v反向匹配排除掉噪音行只看“不是什么”-c只输出匹配行数快速统计出现次数不关心具体内容-n显示行号定位问题在文件第几行方便后续处理-r递归搜索目录日志分散在多个文件里的时候-l只输出文件名想知道“哪些文件包含这个模式”-E使用扩展正则需要写复杂模式的时候比基本正则好用-A/-B/-C显示上下文行看错误日志时前后几行往往包含关键信息这里重点说几个容易被忽略但极其好用的参数。-A 3表示匹配行之后额外显示3行-B 3是之前3行-C 3是前后各3行。排查错误日志的时候光看错误那一行往往不够前一行可能是触发错误的输入后一行可能是错误堆栈的起始-C一把梭就能把上下文带出来。-v的反向匹配也是高频操作。比如你想看日志里除了INFO之外的所有行grep -v INFO train.log就完事了。再配合-cgrep -vc INFO train.log直接告诉你有多少条非INFO记录。-E和基本正则的区别值得单独说一下。基本正则里、?、|、()这些元字符都要加反斜杠转义才能用写起来很别扭。-E开启扩展正则之后这些符号直接就能用。我的习惯是只要模式里超过两个元字符一律上-E省得跟转义较劲。2.2 正则表达式在grep里的实战写法grep的灵魂是正则表达式但很多人对正则有一种天然的畏惧感。我换个角度讲正则就是“用符号描述文本长什么样”你只需要记住几个最常用的符号就能覆盖80%的场景。先看几个AIGC日志分析里最常见的需求需求一找出所有loss为nan或inf的行。模式写成loss(nan|inf)配合-E就是grep -E loss(nan|inf) train.log。这里|表示“或”()表示分组意思是“loss后面跟nan或者inf”。需求二找出时间戳在某个区间的行。比如10点23分到10点25分之间模式可以写成10:2[3-5][3-5]表示这个位置可以是3、4、5中任意一个字符。完整命令grep -E 10:2[3-5] train.log。需求三找出epoch编号为两位数的行。模式epoch[0-9]{2}{2}表示前面的字符类重复两次。注意基本正则里{}需要转义用-E就不用。需求四匹配行首或行尾。^表示行首$表示行尾。比如找出所有以2024开头的行grep ^2024 train.log。找出所有以lr0.001结尾的行grep lr0.001$ train.log。需求五排除空行和注释行。处理配置文件或者语料的时候特别常用grep -vE ^\s*($|#) config.txt。拆开看^\s*表示行首可能有空白字符$表示空行#表示注释|是或整体意思就是“排除掉空行和注释行”。实操心得写正则的时候先用grep -E 模式 文件 | head -5看一眼匹配结果对不对确认没问题再去跑全量。我见过太多人正则写错了直接跑几十万行文件结果出来一堆垃圾数据还得重来。head先验证是个保命的习惯。还有一个很实用的技巧grep -o只输出匹配到的部分而不是整行。比如日志里你想把所有lossxxx的数值单独抽出来grep -oE loss[0-9.] train.log输出就是一行一个loss2.341这样的片段。这个在后续要接awk做计算的时候特别有用因为抽出来的格式很干净。2.3 递归搜索与文件过滤的组合拳实际项目里日志和语料很少是单个文件通常是一个目录下几十上百个文件。grep -r递归搜索是基本操作但直接grep -r ERROR ./logs/可能会把二进制文件、压缩包也扫进去输出一堆乱码。正确的做法是配合--include和--exclude做文件过滤grep -r --include*.log --include*.txt ERROR ./logs/这行命令的意思是在./logs/目录下递归搜索只搜.log和.txt结尾的文件找包含ERROR的行。--include可以写多个--exclude同理。还有一个--exclude-dir用来排除目录比如排除.git目录--exclude-dir.git。再进阶一点-l参数只输出包含匹配的文件名不输出具体行。这个在“我想知道哪些文件有问题”的场景下特别好用。比如你有一批语料文件想找出哪些文件里包含敏感词或者格式异常的内容grep -rl --include*.txt 异常模式 ./corpus/输出就是一列文件名干净利落。拿到文件名列表之后可以接xargs做批量处理比如批量重命名、批量移动这个后面讲组合技巧的时候会展开。3. sed流式文本编辑的利器3.1 替换操作的完整参数体系sed最广为人知的用法就是替换sed s/旧/新/ 文件。但这里有几个关键细节决定了你是“会用”还是“用对”。第一个细节默认只替换每行的第一个匹配。如果你想把一行里所有的a都换成b必须加g标志sed s/a/b/g。这个g是global的意思。我见过不少人踩这个坑替换完发现只改了一处还以为sed有bug。第二个细节默认不修改原文件只输出到终端。想直接改文件加-i参数sed -i s/a/b/g file.txt。但这里有个坑macOS上的sed -i必须跟一个备份后缀比如sed -i s/a/b/g file.txt空字符串表示不备份。Linux上则可以直接sed -i。跨平台脚本里我一般写成sed -i.bak两边都能跑跑完手动删.bak文件。第三个细节分隔符不一定是斜杠。当你的替换内容里本身包含斜杠时比如替换文件路径用斜杠做分隔符就要疯狂转义。这时候可以换分隔符sed s|/old/path|/new/path|g用竖线、井号、逗号都行选一个内容里不出现的字符就好。第四个细节支持反向引用。\(\)在基本正则里表示分组\1、\2引用分组内容。比如把2024-01-15格式的日期改成15/01/2024sed -E s/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/ train.log-E开启扩展正则后分组直接写()引用还是\1这种形式。这行命令的意思是匹配“四位数字-两位数字-两位数字”然后按“第三组/第二组/第一组”的顺序重新排列。日期格式转换、字段顺序调整全靠这个反向引用。3.2 删除、插入与多行操作的场景化用法替换之外sed的删除和插入能力在文本清洗里用得非常多。删除指定行sed 3d file.txt删除第3行sed 2,5d删除第2到5行sed /pattern/d删除包含pattern的行。组合起来sed /^$/d删除所有空行sed /^#/d删除所有注释行。清洗配置文件或者语料的时候这两条命令几乎是标配。在指定位置插入内容i在匹配行之前插入a在匹配行之后追加。比如给每个epoch行前面加一个分隔标记sed /epoch/i --- 新的epoch开始 --- train.log多行操作sed默认按行处理但有些场景需要跨行匹配。比如把连续两个空行压缩成一个可以用N命令把下一行读进来一起处理sed /^$/{N;/^\n$/d} file.txt这行的逻辑是遇到空行时把下一行也读进来如果两行都是空行就删掉。N是sed的多行模式里最常用的命令配合P、D可以做更复杂的段落处理。注意sed的-i直接改文件是不可逆的跑之前一定先不加-i看一眼输出。我的习惯是任何sed -i命令先在终端里跑一遍不带-i的版本确认输出符合预期再补上-i执行。这个习惯帮我避免过好几次批量改错文件的事故。3.3 用sed做批量配置修改的实操记录说一个我实际做过的场景。有一批模型配置文件格式大概是这样model_name: resnet50 batch_size: 32 learning_rate: 0.001 epochs: 100现在需要把所有文件的batch_size从32改成64learning_rate从0.001改成0.0005。手动改几十个文件不现实一条sed命令搞定sed -i.bak -E s/^(batch_size:\s*)32/\164/; s/^(learning_rate:\s*)0\.001/\10.0005/ *.conf拆开看^(batch_size:\s*)匹配行首的batch_size:加上后面的空白用()分组捕获\1在替换时引用这个分组后面接新值。分号分隔两条替换规则一次执行。-i.bak保留备份万一改错了还能回滚。这里有个细节值得说为什么用^(batch_size:\s*)而不是直接batch_size: 32因为配置文件里可能有注释行也包含batch_size: 32这样的文本加^锚定行首能避免误伤注释。这种“锚定行首”的习惯在批量修改配置时能挡掉很多意外。再补一个技巧如果只想改某个区间的行可以用地址范围。sed 10,20s/old/new/g只替换第10到20行里的内容。配合/pattern/做地址sed /^\[section\]/,/^\[/s/old/new/g可以只改某个配置段内的内容遇到下一个段头就停。这个在改ini风格配置文件时特别好用。4. awk结构化文本计算的核心引擎4.1 字段处理与内置变量的运行机制awk和前面两个命令最大的区别在于它是一门完整的编程语言。你写awk {print $1}的时候其实是在写一个“对每一行执行print第一个字段”的程序。理解这一点后面的所有用法就顺了。awk的基本执行模型是读入一行按分隔符拆成字段然后执行你写的模式-动作对。内置变量是理解awk的钥匙变量含义典型用途$0整行内容原样输出或做整行匹配$1~$n第n个字段提取特定列NF当前行的字段数判断字段数量、取最后一个字段$NFNR当前行号跨文件累计加行号、按行号过滤FNR当前文件内的行号多文件处理时区分文件FS输入字段分隔符指定按什么拆列OFS输出字段分隔符指定输出时用什么连接RS输入行分隔符处理非换行分隔的文本默认分隔符是空白字符空格和Tab所以awk {print $1}能直接提取第一列。如果文本是逗号分隔的CSV就要用-F,指定分隔符awk -F, {print $2} data.csv。-F后面跟的可以是单个字符也可以是正则比如-F[,;]表示逗号和分号都当分隔符。NF这个变量特别实用。取最后一列不用数第几列直接$NF。取倒数第二列是$(NF-1)。判断一行是不是空行NF0就行。我在处理格式不规整的日志时经常用NF做校验比如awk NF!5 {print NR: 字段数异常}快速定位格式有问题的行。NR和FNR的区别在多文件处理时才显现。NR是跨文件累计的行号FNR是每个文件重新计数的行号。比如awk {print FILENAME, FNR, $0} file1 file2输出里能清楚看到每个文件各自的行号。FILENAME也是内置变量当前处理的文件名。4.2 条件判断、循环与聚合统计的写法awk真正强大的地方在于它能做计算和聚合。看几个AIGC日志分析里的典型需求。需求一统计每种日志级别的出现次数。日志第二列是级别INFO/WARN/ERROR用awk的关联数组awk {count[$2]} END {for (level in count) print level, count[level]} train.logcount[$2]对每一行执行以第二列的值作为数组下标计数加一。END块在所有行处理完后执行遍历数组输出结果。这就是一个完整的词频统计换成统计loss值出现次数、统计每个epoch的行数逻辑一模一样。需求二计算loss的平均值、最大值、最小值。假设loss在第四列格式是loss2.341先用gsub去掉前缀再计算awk {gsub(/loss/,,$4); sum$4; if($4max||NR1)max$4; if($4min||NR1)min$4; n} END {print avgsum/n, maxmax, minmin} train.loggsub是awk内置的替换函数把loss替换成空字符串$4就变成纯数字了。sum$4累加max和min用条件判断更新NR1保证第一行能正确初始化。最后END块输出三个统计值。这段逻辑如果写成Python至少十几行awk一行搞定。需求三按条件筛选并格式化输出。找出loss大于2.0的行输出时间戳和loss值用制表符分隔awk {gsub(/loss/,,$4); if($402.0) print $1\t$2\t$4} train.log$40强制转成数字比较避免字符串比较的坑。\t是制表符输出对齐好看。需求四按某个字段分组做聚合。比如按epoch分组统计平均lossawk {gsub(/loss/,,$4); gsub(/epoch/,,$3); sum[$3]$4; cnt[$3]} END {for (e in sum) print epoche, avg_losssum[e]/cnt[e]} train.log两个关联数组一个存累加和一个存计数END块里遍历输出。这种“分组聚合”的模式在awk里就是数组加循环写熟了比SQL还顺手。4.3 用awk生成结构化报表的完整实例单独拿一个完整场景出来讲因为这是awk最能体现价值的地方。假设你有一份模型评测结果文件eval.txt每行格式是model_A accuracy0.92 latency45 model_B accuracy0.88 latency32 model_A accuracy0.94 latency47 model_B accuracy0.86 latency30同一个模型有多条记录你想输出每个模型的平均accuracy、平均latency、记录条数并且按accuracy从高到低排序。分两步走awk负责聚合sort负责排序awk {acc[$1]$2; lat[$1]$3; n[$1]} END {for (m in acc) printf %-10s acc%.3f lat%.1f n%d\n, m, acc[m]/n[m], lat[m]/n[m], n[m]} eval.txt | sort -t -k2 -rnawk部分三个数组分别存accuracy累加、latency累加、计数END块用printf格式化输出%-10s左对齐10字符宽%.3f保留三位小数。sort部分-t指定等号为分隔符-k2按第二个字段排序-rn表示反向数值排序。输出就是一张按accuracy降序排列的报表。这个“awk聚合sort排序”的组合是我做数据汇总时的默认套路。awk负责算sort负责排各司其职比在一个工具里硬塞所有功能清晰得多。实操心得awk的printf格式化输出字段宽度和对齐方式值得花十分钟研究一下。%-10s左对齐、%10s右对齐、%.2f两位小数这几个组合能覆盖绝大多数报表需求。输出整齐的报表比一堆散乱数字可读性高一个量级给同事看的时候也显得专业。5. 三剑客组合实战从日志到报表的完整链路5.1 管道串联的思维模型单独用每个命令只是入门真正的威力在组合。管道符|把前一个命令的输出变成后一个命令的输入形成流水线。我总结了一个思维模型grep做减法sed做变形awk做聚合sort做排序uniq做去重。遇到任何文本处理需求先想清楚每一步用哪个工具串起来就行。举个完整的例子。需求是从训练日志里找出所有ERROR和WARN级别的记录提取时间戳和loss值统计每种级别下loss超过阈值的次数最后按次数降序输出。第一步grep筛选出ERROR和WARN行grep -E ERROR|WARN train.log第二步sed把loss前缀去掉方便后续计算| sed s/loss//第三步awk提取级别和loss值做条件判断和计数| awk {if($401.5) cnt[$2]} END {for (l in cnt) print l, cnt[l]}第四步sort按次数降序| sort -k2 -rn完整命令grep -E ERROR|WARN train.log | sed s/loss// | awk {if($401.5) cnt[$2]} END {for (l in cnt) print l, cnt[l]} | sort -k2 -rn一条命令四个环节每个环节职责单一组合起来解决一个完整需求。这种写法比写脚本的优势在于调试方便你可以随时在中间加一个| head -5看当前输出确认没问题再往下接。5.2 语料清洗流水线的搭建过程再说一个AIGC场景里高频的需求清洗语料文件。假设你有一批文本语料需要做以下处理去掉空行、去掉纯标点行、去掉超短行少于10个字符、把连续多个空格压缩成一个、最后统计清洗前后的行数变化。分步拆解# 原始行数 wc -l corpus.txt # 清洗流水线 sed /^$/d corpus.txt | grep -vE ^[[:punct:]]$ | awk length($0)10 | sed -E s/ / /g corpus_clean.txt # 清洗后行数 wc -l corpus_clean.txt逐段解释sed /^$/d删空行grep -vE ^[[:punct:]]$排除纯标点行[[:punct:]]是POSIX字符类匹配所有标点符号awk length($0)10保留长度大于等于10的行length是awk内置函数sed -E s/ / /g把连续空格压缩成一个。最后重定向到新文件。这条流水线的好处是每一步都可以单独验证。你先跑sed /^$/d corpus.txt | wc -l看删了多少空行再逐步往后加每一步的输入输出都清清楚楚。我处理陌生语料时都是这么干的先摸清楚数据长什么样再决定清洗规则而不是一上来就写个大脚本。5.3 批量文件重命名与内容替换的自动化脚本最后一个组合场景批量处理目录下的文件。需求是把./data/目录下所有.txt文件里的旧模型名替换成新模型名同时把文件名里的old改成new。内容替换用sed配合findfind ./data -name *.txt -exec sed -i.bak s/旧模型名/新模型名/g {} \;find找出所有.txt文件-exec对每个文件执行sed{}代表当前文件名\;表示命令结束。-i.bak保留备份跑完确认没问题再批量删.bak。文件名重命名用rename或者循环for f in ./data/*old*.txt; do mv $f ${f//old/new}; done${f//old/new}是bash的字符串替换语法把变量f里所有的old替换成new。这个循环遍历所有含old的txt文件逐个改名。注意批量操作前一定先echo预览。把mv换成echo mv先看一遍要执行什么确认无误再去掉echo。这个习惯救过我很多次尤其是文件名里有空格或者特殊字符的时候预览能提前发现问题。6. 踩坑实录与高频问题速查6.1 编码、分隔符与特殊字符的坑坑一中文编码问题。grep在匹配中文时如果文件编码和终端编码不一致可能匹配不到。先file 文件名看编码必要时用iconv转成UTF-8再处理。iconv -f GBK -t UTF-8 input.txt output.txt。坑二字段分隔符不是单个空格。日志里经常有多个空格对齐的情况awk {print $2}默认按空白字符拆分多个空格会被当成一个分隔符这个行为其实是对的。但如果你用-F 指定单个空格连续空格就会产生空字段$2可能拿到空字符串。所以除非明确知道是单空格分隔否则不要手动指定-F 用默认的空白拆分更稳。坑三sed替换内容里有特殊字符。替换内容包含时在sed替换串里表示“整个匹配内容”需要转义成\。包含反斜杠时也要转义。最省事的办法是换分隔符并且用单引号包裹整个sed表达式避免shell先做一层转义。坑四grep匹配到二进制文件。递归搜索时遇到二进制文件grep会输出“Binary file xxx matches”。加-I参数忽略二进制文件或者用--include限定文件类型。坑五awk的数值比较陷阱。从文本里提取的数字默认是字符串直接比较可能出问题。$42.0在某些情况下会按字符串比较加0强制转数值$402.0。这个坑我在处理带前导零的数字时踩过0810按字符串比较是true按数值比较是false加0才能得到正确结果。6.2 性能优化大文件处理的经验之谈处理GB级别的大文件时三个命令的性能差异和优化技巧值得单独说。grep是最快的筛选工具没有之一。它用了高度优化的字符串匹配算法处理大文件时尽量用grep做第一道筛选把数据量降下来再交给后面的命令。grep -F用固定字符串匹配而不是正则速度更快模式里没有元字符时优先用-F。sed是流式处理内存占用恒定处理大文件不会爆内存。但sed -i会创建临时文件磁盘空间要留够。超大文件几十GB建议用split先切分再并行处理。awk的性能取决于你写的逻辑。简单的字段提取和grep差不多快但复杂的关联数组聚合会消耗较多内存。如果聚合的key特别多比如几百万个不同的key考虑先用sort | uniq -c做初步聚合再交给awk做二次计算。一个通用的优化原则把过滤条件尽量往前放。grep ERROR bigfile | awk {...}比awk /ERROR/{...} bigfile快因为grep先筛掉了大部分行awk只需要处理少量数据。管道里每个环节的数据量应该是递减的这是设计流水线时的基本考量。6.3 常见问题速查表问题现象可能原因解决方法grep匹配不到中文编码不一致file查编码iconv转UTF-8sed -i报错macOS需要备份后缀sed -i 或sed -i.bakawk字段数不对分隔符不符合预期用-F指定或先awk {print NF}检查替换后格式乱了特殊字符未转义换分隔符单引号包裹表达式大文件处理卡死内存不足或逻辑太重先grep过滤再分步处理递归搜索输出乱码扫到了二进制文件加-I或--include限定类型数值比较结果不对字符串比较陷阱加0强制转数值管道中间结果不对某环节输出格式变了在中间加head逐段验证这张表里的每一条都是我在实际项目里真实遇到过的。尤其是“管道中间结果不对”这一条组合命令出问题时最快的排查方式就是从管道开头开始一段一段加| head -5看输出定位到哪一段开始不符合预期问题就找到了。7. 我个人在实际操作中的几点体会写了这么多最后聊几句掏心窝子的。这三个命令我用了很多年最大的感受是它们的价值不在于参数多而在于组合灵活。你不需要记住所有参数只需要把最常用的十几个用熟剩下的遇到问题时查一下man page就够了。真正拉开差距的是你对“什么场景该用什么工具”的判断力。我的建议是别抱着“学完再用”的心态直接拿手头的真实文件练。找一份日志、一份配置、一份语料给自己提需求找出所有异常行、统计某个字段的分布、批量改一批文件。每完成一个需求你对这三个命令的理解就深一层。参数是死的场景是活的在真实数据上踩过的坑才是真正记住的东西。另外别迷信“一条命令解决所有问题”。有时候拆成两三步中间结果存个临时文件反而更清晰、更好调试。管道写得再长如果中间某一步出了问题你定位不到那还不如分步来。工具是为人服务的怎么顺手怎么来。
1. 为什么在AIGC时代还要死磕这三个老命令1.1 一个真实的工作场景切入前阵子帮一个做模型训练的朋友排查日志问题他那边跑一个图像生成任务几十万条训练日志散落在十几个文本文件里想找出所有loss异常飙升的片段还要统计每个epoch的平均耗时。他第一反应是写个Python脚本装pandas、读文件、正则匹配、聚合统计折腾了快一个小时脚本还因为编码问题报错。我看了眼他的终端直接甩了三行命令过去十秒钟出结果。他愣了半天说这东西这么好用怎么没人早告诉我。这就是我想聊的核心grep、awk、sed这三个命令是文本处理领域的老三样但在AIGC内容爆炸的今天它们的价值不降反升。为什么因为不管你是处理模型训练日志、清洗语料数据、批量改写配置文件还是从海量生成内容里做模式提取本质上都是在跟纯文本打交道。而这三个命令的设计哲学就是“一行命令解决一类文本问题”不需要起环境、不需要装依赖、不需要写几十行代码管道一接就能干活。很多人对这三个命令的印象停留在“Linux基础课背过参数考完就忘”。我见过太多人grep只会grep 关键词 文件awk只会awk {print $1}sed只会sed s/a/b/然后就觉得“这东西功能也就那样”。实际上这三个命令的组合能力远超大多数人的想象它们各自负责文本处理流水线上的不同环节grep负责筛选sed负责编辑替换awk负责结构化计算。你把它们串起来就是一条完整的文本处理流水线。这篇文章适合谁看如果你是刚接触命令行不久的新手我会从最核心的用法讲起每个参数都告诉你“为什么这么设计”如果你是有一定基础但用得不够深的开发者我会重点讲组合技巧和实战场景尤其是AIGC相关的日志分析、语料清洗、批量处理这些高频需求。全文的实例都可以直接复制到终端里跑我尽量用虚构的示例文件来演示你跟着敲一遍就能掌握。1.2 三个命令的分工逻辑筛选、编辑、计算先把这个底层逻辑讲清楚后面所有内容都围绕它展开。你可以把文本处理想象成一条工厂流水线原材料是原始文本经过一道道工序最后产出你想要的结果。grep是质检员它的工作是从一堆文本里挑出符合条件的行。你给它一个模式它逐行检查匹配的留下不匹配的扔掉。它的核心能力是“按行筛选”不关心行里面具体长什么样只关心“这行符不符合我的条件”。sed是编辑工它的工作是对文本进行修改。替换、删除、插入、追加都是它的活。它的特点是“流式处理”读一行处理一行不需要把整个文件加载到内存里所以处理大文件特别快。sed的核心能力是“按规则改写”。awk是统计员兼报表生成器它的工作是把文本按列拆开然后做计算、做判断、做格式化输出。它内置了变量、循环、条件判断本质上是一门小型的文本处理编程语言。awk的核心能力是“按字段处理并计算”。这三个命令通过管道符|串联起来就形成了“筛选→编辑→计算”的完整链路。举个最简单的例子从日志里找出所有错误行把时间戳格式改一下再统计每种错误出现的次数。一条命令搞定不需要写脚本。注意这三个命令在绝大多数Linux发行版和macOS上都是预装的Windows用户可以通过WSL或者Git Bash来使用。我后面所有的示例都基于bash环境如果你用的是其他shell个别语法可能需要微调。2. grep文本筛选的第一道关卡2.1 核心参数拆解与选择逻辑grep的全称是“global regular expression print”翻译过来就是“全局正则表达式打印”。名字已经把它的工作方式说清楚了用正则表达式去匹配文本把匹配到的行打印出来。先看最基础的用法。假设你有一个日志文件train.log内容大概是这样的2024-01-15 10:23:01 INFO epoch1 loss2.341 lr0.001 2024-01-15 10:23:45 INFO epoch1 loss2.108 lr0.001 2024-01-15 10:24:30 WARN epoch1 lossnan lr0.001 2024-01-15 10:25:12 INFO epoch2 loss1.876 lr0.0009 2024-01-15 10:26:03 ERROR epoch2 lossinf lr0.0009你想找出所有包含ERROR的行直接grep ERROR train.log就行。但实际工作中光这样远远不够。我列一下最常用的参数组合以及每个参数背后的设计考量参数作用什么时候用-i忽略大小写日志里error/Error/ERROR混着写的时候-v反向匹配排除掉噪音行只看“不是什么”-c只输出匹配行数快速统计出现次数不关心具体内容-n显示行号定位问题在文件第几行方便后续处理-r递归搜索目录日志分散在多个文件里的时候-l只输出文件名想知道“哪些文件包含这个模式”-E使用扩展正则需要写复杂模式的时候比基本正则好用-A/-B/-C显示上下文行看错误日志时前后几行往往包含关键信息这里重点说几个容易被忽略但极其好用的参数。-A 3表示匹配行之后额外显示3行-B 3是之前3行-C 3是前后各3行。排查错误日志的时候光看错误那一行往往不够前一行可能是触发错误的输入后一行可能是错误堆栈的起始-C一把梭就能把上下文带出来。-v的反向匹配也是高频操作。比如你想看日志里除了INFO之外的所有行grep -v INFO train.log就完事了。再配合-cgrep -vc INFO train.log直接告诉你有多少条非INFO记录。-E和基本正则的区别值得单独说一下。基本正则里、?、|、()这些元字符都要加反斜杠转义才能用写起来很别扭。-E开启扩展正则之后这些符号直接就能用。我的习惯是只要模式里超过两个元字符一律上-E省得跟转义较劲。2.2 正则表达式在grep里的实战写法grep的灵魂是正则表达式但很多人对正则有一种天然的畏惧感。我换个角度讲正则就是“用符号描述文本长什么样”你只需要记住几个最常用的符号就能覆盖80%的场景。先看几个AIGC日志分析里最常见的需求需求一找出所有loss为nan或inf的行。模式写成loss(nan|inf)配合-E就是grep -E loss(nan|inf) train.log。这里|表示“或”()表示分组意思是“loss后面跟nan或者inf”。需求二找出时间戳在某个区间的行。比如10点23分到10点25分之间模式可以写成10:2[3-5][3-5]表示这个位置可以是3、4、5中任意一个字符。完整命令grep -E 10:2[3-5] train.log。需求三找出epoch编号为两位数的行。模式epoch[0-9]{2}{2}表示前面的字符类重复两次。注意基本正则里{}需要转义用-E就不用。需求四匹配行首或行尾。^表示行首$表示行尾。比如找出所有以2024开头的行grep ^2024 train.log。找出所有以lr0.001结尾的行grep lr0.001$ train.log。需求五排除空行和注释行。处理配置文件或者语料的时候特别常用grep -vE ^\s*($|#) config.txt。拆开看^\s*表示行首可能有空白字符$表示空行#表示注释|是或整体意思就是“排除掉空行和注释行”。实操心得写正则的时候先用grep -E 模式 文件 | head -5看一眼匹配结果对不对确认没问题再去跑全量。我见过太多人正则写错了直接跑几十万行文件结果出来一堆垃圾数据还得重来。head先验证是个保命的习惯。还有一个很实用的技巧grep -o只输出匹配到的部分而不是整行。比如日志里你想把所有lossxxx的数值单独抽出来grep -oE loss[0-9.] train.log输出就是一行一个loss2.341这样的片段。这个在后续要接awk做计算的时候特别有用因为抽出来的格式很干净。2.3 递归搜索与文件过滤的组合拳实际项目里日志和语料很少是单个文件通常是一个目录下几十上百个文件。grep -r递归搜索是基本操作但直接grep -r ERROR ./logs/可能会把二进制文件、压缩包也扫进去输出一堆乱码。正确的做法是配合--include和--exclude做文件过滤grep -r --include*.log --include*.txt ERROR ./logs/这行命令的意思是在./logs/目录下递归搜索只搜.log和.txt结尾的文件找包含ERROR的行。--include可以写多个--exclude同理。还有一个--exclude-dir用来排除目录比如排除.git目录--exclude-dir.git。再进阶一点-l参数只输出包含匹配的文件名不输出具体行。这个在“我想知道哪些文件有问题”的场景下特别好用。比如你有一批语料文件想找出哪些文件里包含敏感词或者格式异常的内容grep -rl --include*.txt 异常模式 ./corpus/输出就是一列文件名干净利落。拿到文件名列表之后可以接xargs做批量处理比如批量重命名、批量移动这个后面讲组合技巧的时候会展开。3. sed流式文本编辑的利器3.1 替换操作的完整参数体系sed最广为人知的用法就是替换sed s/旧/新/ 文件。但这里有几个关键细节决定了你是“会用”还是“用对”。第一个细节默认只替换每行的第一个匹配。如果你想把一行里所有的a都换成b必须加g标志sed s/a/b/g。这个g是global的意思。我见过不少人踩这个坑替换完发现只改了一处还以为sed有bug。第二个细节默认不修改原文件只输出到终端。想直接改文件加-i参数sed -i s/a/b/g file.txt。但这里有个坑macOS上的sed -i必须跟一个备份后缀比如sed -i s/a/b/g file.txt空字符串表示不备份。Linux上则可以直接sed -i。跨平台脚本里我一般写成sed -i.bak两边都能跑跑完手动删.bak文件。第三个细节分隔符不一定是斜杠。当你的替换内容里本身包含斜杠时比如替换文件路径用斜杠做分隔符就要疯狂转义。这时候可以换分隔符sed s|/old/path|/new/path|g用竖线、井号、逗号都行选一个内容里不出现的字符就好。第四个细节支持反向引用。\(\)在基本正则里表示分组\1、\2引用分组内容。比如把2024-01-15格式的日期改成15/01/2024sed -E s/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/ train.log-E开启扩展正则后分组直接写()引用还是\1这种形式。这行命令的意思是匹配“四位数字-两位数字-两位数字”然后按“第三组/第二组/第一组”的顺序重新排列。日期格式转换、字段顺序调整全靠这个反向引用。3.2 删除、插入与多行操作的场景化用法替换之外sed的删除和插入能力在文本清洗里用得非常多。删除指定行sed 3d file.txt删除第3行sed 2,5d删除第2到5行sed /pattern/d删除包含pattern的行。组合起来sed /^$/d删除所有空行sed /^#/d删除所有注释行。清洗配置文件或者语料的时候这两条命令几乎是标配。在指定位置插入内容i在匹配行之前插入a在匹配行之后追加。比如给每个epoch行前面加一个分隔标记sed /epoch/i --- 新的epoch开始 --- train.log多行操作sed默认按行处理但有些场景需要跨行匹配。比如把连续两个空行压缩成一个可以用N命令把下一行读进来一起处理sed /^$/{N;/^\n$/d} file.txt这行的逻辑是遇到空行时把下一行也读进来如果两行都是空行就删掉。N是sed的多行模式里最常用的命令配合P、D可以做更复杂的段落处理。注意sed的-i直接改文件是不可逆的跑之前一定先不加-i看一眼输出。我的习惯是任何sed -i命令先在终端里跑一遍不带-i的版本确认输出符合预期再补上-i执行。这个习惯帮我避免过好几次批量改错文件的事故。3.3 用sed做批量配置修改的实操记录说一个我实际做过的场景。有一批模型配置文件格式大概是这样model_name: resnet50 batch_size: 32 learning_rate: 0.001 epochs: 100现在需要把所有文件的batch_size从32改成64learning_rate从0.001改成0.0005。手动改几十个文件不现实一条sed命令搞定sed -i.bak -E s/^(batch_size:\s*)32/\164/; s/^(learning_rate:\s*)0\.001/\10.0005/ *.conf拆开看^(batch_size:\s*)匹配行首的batch_size:加上后面的空白用()分组捕获\1在替换时引用这个分组后面接新值。分号分隔两条替换规则一次执行。-i.bak保留备份万一改错了还能回滚。这里有个细节值得说为什么用^(batch_size:\s*)而不是直接batch_size: 32因为配置文件里可能有注释行也包含batch_size: 32这样的文本加^锚定行首能避免误伤注释。这种“锚定行首”的习惯在批量修改配置时能挡掉很多意外。再补一个技巧如果只想改某个区间的行可以用地址范围。sed 10,20s/old/new/g只替换第10到20行里的内容。配合/pattern/做地址sed /^\[section\]/,/^\[/s/old/new/g可以只改某个配置段内的内容遇到下一个段头就停。这个在改ini风格配置文件时特别好用。4. awk结构化文本计算的核心引擎4.1 字段处理与内置变量的运行机制awk和前面两个命令最大的区别在于它是一门完整的编程语言。你写awk {print $1}的时候其实是在写一个“对每一行执行print第一个字段”的程序。理解这一点后面的所有用法就顺了。awk的基本执行模型是读入一行按分隔符拆成字段然后执行你写的模式-动作对。内置变量是理解awk的钥匙变量含义典型用途$0整行内容原样输出或做整行匹配$1~$n第n个字段提取特定列NF当前行的字段数判断字段数量、取最后一个字段$NFNR当前行号跨文件累计加行号、按行号过滤FNR当前文件内的行号多文件处理时区分文件FS输入字段分隔符指定按什么拆列OFS输出字段分隔符指定输出时用什么连接RS输入行分隔符处理非换行分隔的文本默认分隔符是空白字符空格和Tab所以awk {print $1}能直接提取第一列。如果文本是逗号分隔的CSV就要用-F,指定分隔符awk -F, {print $2} data.csv。-F后面跟的可以是单个字符也可以是正则比如-F[,;]表示逗号和分号都当分隔符。NF这个变量特别实用。取最后一列不用数第几列直接$NF。取倒数第二列是$(NF-1)。判断一行是不是空行NF0就行。我在处理格式不规整的日志时经常用NF做校验比如awk NF!5 {print NR: 字段数异常}快速定位格式有问题的行。NR和FNR的区别在多文件处理时才显现。NR是跨文件累计的行号FNR是每个文件重新计数的行号。比如awk {print FILENAME, FNR, $0} file1 file2输出里能清楚看到每个文件各自的行号。FILENAME也是内置变量当前处理的文件名。4.2 条件判断、循环与聚合统计的写法awk真正强大的地方在于它能做计算和聚合。看几个AIGC日志分析里的典型需求。需求一统计每种日志级别的出现次数。日志第二列是级别INFO/WARN/ERROR用awk的关联数组awk {count[$2]} END {for (level in count) print level, count[level]} train.logcount[$2]对每一行执行以第二列的值作为数组下标计数加一。END块在所有行处理完后执行遍历数组输出结果。这就是一个完整的词频统计换成统计loss值出现次数、统计每个epoch的行数逻辑一模一样。需求二计算loss的平均值、最大值、最小值。假设loss在第四列格式是loss2.341先用gsub去掉前缀再计算awk {gsub(/loss/,,$4); sum$4; if($4max||NR1)max$4; if($4min||NR1)min$4; n} END {print avgsum/n, maxmax, minmin} train.loggsub是awk内置的替换函数把loss替换成空字符串$4就变成纯数字了。sum$4累加max和min用条件判断更新NR1保证第一行能正确初始化。最后END块输出三个统计值。这段逻辑如果写成Python至少十几行awk一行搞定。需求三按条件筛选并格式化输出。找出loss大于2.0的行输出时间戳和loss值用制表符分隔awk {gsub(/loss/,,$4); if($402.0) print $1\t$2\t$4} train.log$40强制转成数字比较避免字符串比较的坑。\t是制表符输出对齐好看。需求四按某个字段分组做聚合。比如按epoch分组统计平均lossawk {gsub(/loss/,,$4); gsub(/epoch/,,$3); sum[$3]$4; cnt[$3]} END {for (e in sum) print epoche, avg_losssum[e]/cnt[e]} train.log两个关联数组一个存累加和一个存计数END块里遍历输出。这种“分组聚合”的模式在awk里就是数组加循环写熟了比SQL还顺手。4.3 用awk生成结构化报表的完整实例单独拿一个完整场景出来讲因为这是awk最能体现价值的地方。假设你有一份模型评测结果文件eval.txt每行格式是model_A accuracy0.92 latency45 model_B accuracy0.88 latency32 model_A accuracy0.94 latency47 model_B accuracy0.86 latency30同一个模型有多条记录你想输出每个模型的平均accuracy、平均latency、记录条数并且按accuracy从高到低排序。分两步走awk负责聚合sort负责排序awk {acc[$1]$2; lat[$1]$3; n[$1]} END {for (m in acc) printf %-10s acc%.3f lat%.1f n%d\n, m, acc[m]/n[m], lat[m]/n[m], n[m]} eval.txt | sort -t -k2 -rnawk部分三个数组分别存accuracy累加、latency累加、计数END块用printf格式化输出%-10s左对齐10字符宽%.3f保留三位小数。sort部分-t指定等号为分隔符-k2按第二个字段排序-rn表示反向数值排序。输出就是一张按accuracy降序排列的报表。这个“awk聚合sort排序”的组合是我做数据汇总时的默认套路。awk负责算sort负责排各司其职比在一个工具里硬塞所有功能清晰得多。实操心得awk的printf格式化输出字段宽度和对齐方式值得花十分钟研究一下。%-10s左对齐、%10s右对齐、%.2f两位小数这几个组合能覆盖绝大多数报表需求。输出整齐的报表比一堆散乱数字可读性高一个量级给同事看的时候也显得专业。5. 三剑客组合实战从日志到报表的完整链路5.1 管道串联的思维模型单独用每个命令只是入门真正的威力在组合。管道符|把前一个命令的输出变成后一个命令的输入形成流水线。我总结了一个思维模型grep做减法sed做变形awk做聚合sort做排序uniq做去重。遇到任何文本处理需求先想清楚每一步用哪个工具串起来就行。举个完整的例子。需求是从训练日志里找出所有ERROR和WARN级别的记录提取时间戳和loss值统计每种级别下loss超过阈值的次数最后按次数降序输出。第一步grep筛选出ERROR和WARN行grep -E ERROR|WARN train.log第二步sed把loss前缀去掉方便后续计算| sed s/loss//第三步awk提取级别和loss值做条件判断和计数| awk {if($401.5) cnt[$2]} END {for (l in cnt) print l, cnt[l]}第四步sort按次数降序| sort -k2 -rn完整命令grep -E ERROR|WARN train.log | sed s/loss// | awk {if($401.5) cnt[$2]} END {for (l in cnt) print l, cnt[l]} | sort -k2 -rn一条命令四个环节每个环节职责单一组合起来解决一个完整需求。这种写法比写脚本的优势在于调试方便你可以随时在中间加一个| head -5看当前输出确认没问题再往下接。5.2 语料清洗流水线的搭建过程再说一个AIGC场景里高频的需求清洗语料文件。假设你有一批文本语料需要做以下处理去掉空行、去掉纯标点行、去掉超短行少于10个字符、把连续多个空格压缩成一个、最后统计清洗前后的行数变化。分步拆解# 原始行数 wc -l corpus.txt # 清洗流水线 sed /^$/d corpus.txt | grep -vE ^[[:punct:]]$ | awk length($0)10 | sed -E s/ / /g corpus_clean.txt # 清洗后行数 wc -l corpus_clean.txt逐段解释sed /^$/d删空行grep -vE ^[[:punct:]]$排除纯标点行[[:punct:]]是POSIX字符类匹配所有标点符号awk length($0)10保留长度大于等于10的行length是awk内置函数sed -E s/ / /g把连续空格压缩成一个。最后重定向到新文件。这条流水线的好处是每一步都可以单独验证。你先跑sed /^$/d corpus.txt | wc -l看删了多少空行再逐步往后加每一步的输入输出都清清楚楚。我处理陌生语料时都是这么干的先摸清楚数据长什么样再决定清洗规则而不是一上来就写个大脚本。5.3 批量文件重命名与内容替换的自动化脚本最后一个组合场景批量处理目录下的文件。需求是把./data/目录下所有.txt文件里的旧模型名替换成新模型名同时把文件名里的old改成new。内容替换用sed配合findfind ./data -name *.txt -exec sed -i.bak s/旧模型名/新模型名/g {} \;find找出所有.txt文件-exec对每个文件执行sed{}代表当前文件名\;表示命令结束。-i.bak保留备份跑完确认没问题再批量删.bak。文件名重命名用rename或者循环for f in ./data/*old*.txt; do mv $f ${f//old/new}; done${f//old/new}是bash的字符串替换语法把变量f里所有的old替换成new。这个循环遍历所有含old的txt文件逐个改名。注意批量操作前一定先echo预览。把mv换成echo mv先看一遍要执行什么确认无误再去掉echo。这个习惯救过我很多次尤其是文件名里有空格或者特殊字符的时候预览能提前发现问题。6. 踩坑实录与高频问题速查6.1 编码、分隔符与特殊字符的坑坑一中文编码问题。grep在匹配中文时如果文件编码和终端编码不一致可能匹配不到。先file 文件名看编码必要时用iconv转成UTF-8再处理。iconv -f GBK -t UTF-8 input.txt output.txt。坑二字段分隔符不是单个空格。日志里经常有多个空格对齐的情况awk {print $2}默认按空白字符拆分多个空格会被当成一个分隔符这个行为其实是对的。但如果你用-F 指定单个空格连续空格就会产生空字段$2可能拿到空字符串。所以除非明确知道是单空格分隔否则不要手动指定-F 用默认的空白拆分更稳。坑三sed替换内容里有特殊字符。替换内容包含时在sed替换串里表示“整个匹配内容”需要转义成\。包含反斜杠时也要转义。最省事的办法是换分隔符并且用单引号包裹整个sed表达式避免shell先做一层转义。坑四grep匹配到二进制文件。递归搜索时遇到二进制文件grep会输出“Binary file xxx matches”。加-I参数忽略二进制文件或者用--include限定文件类型。坑五awk的数值比较陷阱。从文本里提取的数字默认是字符串直接比较可能出问题。$42.0在某些情况下会按字符串比较加0强制转数值$402.0。这个坑我在处理带前导零的数字时踩过0810按字符串比较是true按数值比较是false加0才能得到正确结果。6.2 性能优化大文件处理的经验之谈处理GB级别的大文件时三个命令的性能差异和优化技巧值得单独说。grep是最快的筛选工具没有之一。它用了高度优化的字符串匹配算法处理大文件时尽量用grep做第一道筛选把数据量降下来再交给后面的命令。grep -F用固定字符串匹配而不是正则速度更快模式里没有元字符时优先用-F。sed是流式处理内存占用恒定处理大文件不会爆内存。但sed -i会创建临时文件磁盘空间要留够。超大文件几十GB建议用split先切分再并行处理。awk的性能取决于你写的逻辑。简单的字段提取和grep差不多快但复杂的关联数组聚合会消耗较多内存。如果聚合的key特别多比如几百万个不同的key考虑先用sort | uniq -c做初步聚合再交给awk做二次计算。一个通用的优化原则把过滤条件尽量往前放。grep ERROR bigfile | awk {...}比awk /ERROR/{...} bigfile快因为grep先筛掉了大部分行awk只需要处理少量数据。管道里每个环节的数据量应该是递减的这是设计流水线时的基本考量。6.3 常见问题速查表问题现象可能原因解决方法grep匹配不到中文编码不一致file查编码iconv转UTF-8sed -i报错macOS需要备份后缀sed -i 或sed -i.bakawk字段数不对分隔符不符合预期用-F指定或先awk {print NF}检查替换后格式乱了特殊字符未转义换分隔符单引号包裹表达式大文件处理卡死内存不足或逻辑太重先grep过滤再分步处理递归搜索输出乱码扫到了二进制文件加-I或--include限定类型数值比较结果不对字符串比较陷阱加0强制转数值管道中间结果不对某环节输出格式变了在中间加head逐段验证这张表里的每一条都是我在实际项目里真实遇到过的。尤其是“管道中间结果不对”这一条组合命令出问题时最快的排查方式就是从管道开头开始一段一段加| head -5看输出定位到哪一段开始不符合预期问题就找到了。7. 我个人在实际操作中的几点体会写了这么多最后聊几句掏心窝子的。这三个命令我用了很多年最大的感受是它们的价值不在于参数多而在于组合灵活。你不需要记住所有参数只需要把最常用的十几个用熟剩下的遇到问题时查一下man page就够了。真正拉开差距的是你对“什么场景该用什么工具”的判断力。我的建议是别抱着“学完再用”的心态直接拿手头的真实文件练。找一份日志、一份配置、一份语料给自己提需求找出所有异常行、统计某个字段的分布、批量改一批文件。每完成一个需求你对这三个命令的理解就深一层。参数是死的场景是活的在真实数据上踩过的坑才是真正记住的东西。另外别迷信“一条命令解决所有问题”。有时候拆成两三步中间结果存个临时文件反而更清晰、更好调试。管道写得再长如果中间某一步出了问题你定位不到那还不如分步来。工具是为人服务的怎么顺手怎么来。
