1. 定位导航与文件操作先解决90%的日常使用1.1 pwd、ls、cd的组合很多人忽略的基础细节刚接触Linux的时候我也有过拿着命令列表死记硬背的阶段但真正让我把命令用熟的不是背诵而是反复在真实环境里敲。先说最常用的三件套pwd、ls、cd。pwdprint working directory用来确认当前所在的绝对路径。很多人觉得它多余但当你用脚本处理文件路径、或者在多个目录之间跳来跳去的时候没有它你很快就会迷失方向。举个实操场景你在/opt/app/logs下面用tail看日志切到/tmp做临时操作后想回来靠记忆容易出错一条pwd就能把锚点钉死。ls的关键参数说实话绝大多数新手只用了默认输出这太浪费了。我日常必用的几个参数组合是ls -lh # 以人类可读方式显示文件大小K/M/G配合 h 参数一眼看出哪个文件占空间 ls -lt # 按修改时间倒序排列最新的文件在最上面排查问题时非常顺手 ls -la # 显示全部文件包含以 . 开头的隐藏配置文件注意ls -l输出里的第一列那一长串字符比如drwxr-xr-x实际上包含了文件类型和权限的两层信息。第一个字符d表示目录-表示普通文件l表示软链接后面每三个字符一组分别对应属主、属组、其他人的读r、写w、执行x权限。cd除了进入目录我最常用的偷懒技巧是cd -——直接回到上一个所在目录。比如你从/etc/nginx/conf.d切到/var/log/nginx看报错看完想回去改配置敲一下cd -就够了不用重新输入一长串路径。这个操作在需要来回对比配置文件和日志的场景下效率提升非常明显。1.2 cp、mv、rm覆盖、备份和删不掉的问题文件操作三兄弟cp、mv、rm看起来简单实际踩过的坑一点都不少。先看cp。复制目录必须加-r这是最基础的要求cp -r /opt/app/config /opt/app/config_backup_20250115这个-r很多人记成 recursive递归理解到位就不会漏。cp还有几个容易忽略的好用参数-i目标文件已存在时询问是否覆盖配合alias设置后能防止误覆盖。-p保留原始文件的属性权限、时间戳备份配置文件时特别有用。-a等效于-dpR常用于完整复制目录树做归档备份。我自己的习惯是只要涉及覆盖操作就先ls确认目标目录里有什么再用-i让系统多问一次避免一年一次的备份把新配置文件冲掉。再看mv。它有一个隐藏知识点同一文件系统内移动是改个指针级别的瞬时操作跨文件系统则是复制删除。所以当你把文件从/home移动到/data两个独立分区时如果文件很大会感觉到明显的耗时这是正常的物理复制不是系统卡了。最后说rm这是Linux里最需要敬畏的命令。我见过不止一次同事在/tmp下测试命令一个不留神把变量写空执行了rm -rf $DIR/*结果$DIR没赋值变成rm -rf /*后果不堪设想。我现在的安全做法是# 先对删除目标做一次 ls 确认 ls -la /path/to/target # 删除时带上 -i 或者干脆先移动到临时回收目录 mv /path/to/target /tmp/trash_20250115/把要删的东西先移动到/tmp下的回收目录观察几天确认没问题再彻底清空这才是稳妥的操作。生产服务器上永远不要练手速。2. 文本处理三剑客grep/sed/awk的正确打开方式2.1 grep从只会搜关键字到熟练组合参数grep搜索文本几乎是每天必用的命令但大多数人只会grep error log.txt。它真正的威力在于组合参数我列几个高频场景grep -i error /var/log/app.log # 忽略大小写搜索 grep -r timeout /opt/app/config/ # 递归搜索目录下所有文件 grep -E error|warn|fatal /var/log/app.log # 扩展正则匹配多个关键词 grep -v ^# /etc/nginx/nginx.conf # 过滤掉注释行只看有效配置 grep -c exception app.log # 统计匹配到的行数 grep -n Traceback app.log # 显示行号方便回溯新手最容易忽略的是grep -r在搜索日志目录时的输出格式。比如在/var/log/下递归搜索时结果会带文件路径前缀。如果只关心内容本身可以加-h去掉文件名如果想知道每条匹配来自哪个文件-l只输出文件名列表配合后续精准查看效率更高。还有一个心得搜索日志发现没结果时先怀疑正则写错不是故障消失了。有一次我搜ERROR 500怎么搜都是空后来发现日志里实际记录的是http_status500关键词根本没对上。先用tail -n 50 app.log看一段真实内容格式再组织搜索词能省下大量无效排查时间。2.2 sed流编辑器里最高频的三个场景sed被很多人当成上古神兽敬而远之但它真正高频的场景其实只有三个替换、按行提取、批量删除。场景一替换文本# 把配置里的旧域名换成新地址 sed -i s/192\.0\.2\.10/192.0.2.20/g /opt/app/conf/app.confs/旧文本/新文本/g是替换的命令结构最后的g表示全局替换行内所有匹配不加它只替换每行第一个。注意点号在正则里是通配符匹配任意字符所以匹配IP时要把.转义成\.否则可能出现意外替换。场景二按行号提取# 查看日志第100到第150行 sed -n 100,150p app.log-n关闭默认输出p打印指定范围。这个技巧在日志文件好几GB、cat会卡死的情况下非常实用。场景三删除匹配行# 删除所有包含 DEBUG 的行且直接写回源文件 sed -i /DEBUG/d app.log这里的d是删除命令。-i参数是直接修改原文件没有备份习惯时慎用。我自己的规则是凡是sed -i操作生产配置文件先手动复制一份.bak出现问题能秒回滚。这是拿时间换来的教训早期用sed -i顺手改了个正则把小半个配置文件洗了没有备份就只能从头补。2.3 awk按列处理数据的入门套路awk的默认处理单位是一行按空白分割后的多个字段这正好覆盖了绝大多数日志和表格类文本的需求。最经典的入门命令# 打印第一列和最后一列 awk {print $1, $NF} access.log$1是第一列$NF是最后一列NF 是字段总数变量。以Nginx访问日志为例通常第一列是客户端IP最后一列是请求耗时这条命令直接就能产出性能分析源数据。awk做条件过滤也很顺手# 找出请求耗时大于3秒的日志行 awk $NF 3 {print $1, $NF} access.log这里$NF是数值直接和3比较。再复杂一点统计访问次数最高的前10个IPawk {print $1} access.log | sort | uniq -c | sort -rn | head -10这条组合命令的思路很值得讲awk先抽出第一列的IPsort排序让相同IP相邻uniq -c计数并去重sort -rn按计数反向排序最后head -10取前十。这个管道组合在日志分析里出现频率极高建议直接背下来。3. 权限、用户与进程从能跑到稳定跑的分水岭3.1 chmod、chown、umask看完这组命令才算入门权限设置是Linux和Windows体验差异最大的地方也是新手最容易用暴力解法绕过去的地方——我说的就是chmod 777。数字权限的本质是三组权限的八进制简写。读是4写是2执行是1每组权限的数字就是这三个值相加7 421可读可写可执行6 42可读可写5 41可读可执行所以chmod 755 file表示属主拥有全部权限7属组可读可执行5其他人可读可执行5。而chmod 644 file是属主可读写6属组和其他人只读4。普通文件用644、目录用755是通用的安全起点。遇到服务起不来或者文件写不进去的问题正确排查顺序是ls -l /path/to/file whoami groups先看文件属于谁、权限是什么再确认当前用户是谁、在哪个组。多数情况不是权限数字不对而是属主和属组搞错了此时要用chown调整归属chown -R appuser:appgroup /opt/app/data-R递归修改目录内所有文件和子目录部署应用或挂载数据目录时几乎必备。再补充一个容易被忽略的umask。它是新建文件的默认权限掩码比如系统umask是022意思是从默认777里减掉022组和其他人的写权限最终新建文件是755而普通文件中大多数程序会再主动去掉执行位所以通常是644。搞清楚这个逻辑就不会遇到刚创建的脚本没有执行权限时满脸问号。3.2 ps、top、kill现场演示一次完整的进程管理查进程、看负载、杀进程这是服务器出问题时最标准的处理链路。第一步定位进程ps -ef | grep javaps -ef输出所有进程的完整信息包括UID、PID、PPID、CPU/内存占用、启动命令。配合grep可以快速锁定目标进程。ps aux也是常用写法两者信息量接近只是格式侧重不同aux适合看CPU和内存占比-ef适合看父进程关系。第二步看资源占用toptop默认按CPU使用率排序按M键可以切到按内存排序按P键回到CPU排序。需要关注的核心指标是%CPU、%MEM、RES常驻内存和TIME累计CPU时间。一个进程CPU占用长期超过100%在项目正常波动内可能不算异常但如果是不该出现的进程就得注意了。第三步处理异常进程kill -15 PID # 先温柔地请求退出让进程自己清理资源 kill -9 PID # 强杀用于无响应的情况kill不加参数默认发-15SIGTERM进程可以拦截并做善后处理。-9SIGKILL是强杀内核直接终止进程没有机会保存状态。我的习惯是先-15观察5秒没退出再用-9。直接上-9可能会留下残留的共享内存、临时文件、不完整的数据库写入后续反而更难收拾。曾经有一次线上服务内存持续上涨我ps -ef | grep xxx找到一堆僵尸子进程PPID已经变成1被init收养常规kill都无效。最后排查到是父进程没有正确wait回收子进程程序逻辑问题命令行工具只能用来发现最终还得靠改代码。4. 系统状态排查当机器出问题时该怎么问4.1 df、du、free三句话摸清磁盘和内存服务器响应慢、服务异常退出第一步永远是检查资源水位而不是急着看代码。df、du、free三条命令能在半分钟内给出一份基础体检报告。df -hT-h人类可读-T显示文件系统类型。重点关注/和/home、/data这类挂载点的Use%超过80%就进入预警区间。磁盘满时有个经典现象程序还在正常运行但写日志报No space left on device。有个排查细节特别容易迷惑人df显示占用100%但du -sh /*怎么加都加不满。这通常是有文件被删除但进程仍然持有文件句柄——文件在磁盘上的空间没有真正释放只有重启对应进程才会回收。定位方式是lsof | grep deleted找到持有被删文件的PID确认无误后重启该服务空间才能释放。知道这个坑之后处理磁盘满了但找不到大文件的问题就轻松多了。free -h看内存时重点不是free那一列而是available。Linux会把空闲内存拿去做buff/cache缓存磁盘数据真正可用的内存要看available它是可以直接分配给新进程的内存估算值。如果available经常低于总内存的20%说明内存偏紧下一步就该用top排序看谁在吃内存了。4.2 uname、uptime、dmesg快速了解这台机器的身体状况接手一台陌生的机器我先用三条命令建立对它的大致认知uname -a输出内核版本、主机名、硬件架构。它能立刻告诉你系统是64位还是32位、内核是什么版本安装软件时选择对应包就需要这些信息。uptime这条命令输出当前时间、运行时长、登录用户数、以及过去1分钟、5分钟、15分钟的平均负载。负载这个数字容易被误读它不等于CPU使用率而是处于运行或不可中断状态的进程数量。判断是否过载要看负载和CPU核数的比例——四核机器负载持续超过4.0基本可以认为CPU是瓶颈了。dmesg -T | tail -50dmesg显示内核环形缓冲区的消息-T把时间戳转成可读格式。硬件报错、磁盘I/O错误、OOM内存耗尽记录、网络设备异常基本都能在这里看到痕迹。如果某天应用程序莫名其妙崩溃来dmesg翻一翻经常能看到Out of memory: Kill process这类关键线索。5. 网络排查与文件传输从本地到远程的常用操作5.1 ping、curl、ss一套连贯的网络诊断流程网络问题排查我很少吃一条命令定生死的亏而是固定走一套流程。先看三层再看七层。第一步ping 测连通性ping -c 4 192.0.2.10-c 4只发四个包就停避免一直ping停不下来。观察time值判断延迟观察packet loss判断丢包率。ping 通只能说明三层网络通不能代表应用可用——服务没起来照样能ping通。第二步curl 验证应用层curl -I http://192.0.2.10:8080/health-I只取响应头比完整拉取正文更轻量。如果返回200 OK那说明服务正常返回502或504就要往上游排查比如网关后面的应用没启动。第三步ss 查看端口监听状态ss -tulnp-tTCP协议-uUDP协议-l只显示监听状态-n不解析服务名只显示端口数字-p显示占用进程。这台机器上哪些端口在监听、由哪个进程占用一眼就能看出来。替换掉早期习惯用的netstatss更快信息也更全。5.2 scp、rsync文件传输的取舍小文件传输用scp简单直接scp /opt/app/backup_20250115.tar.gz appuser192.0.2.20:/data/backup/本地文件推送到远端或者反过来拉取都可以。但要传输大量文件、或者做定期同步rsync是更好的选择它的核心优势是增量同步——只传变化的部分。我备份目录的习惯命令rsync -avz --progress /opt/app/data/ appuser192.0.2.20:/data/backup/data/参数拆解-a归档模式保留权限和时间戳-v显示过程-z传输时压缩--progress显示进度。用rsync有一个必须注意的经典细节源路径末尾的斜杠决定行为。rsync -av /path/a/ /path/b/表示把a目录下的内容同步到b目录但rsync -av /path/a /path/b/会把a目录本身放到b里面变成b/a/。很多时候同步完发现层级多了一层就是这个斜杠在捣鬼我复盘时发现几乎每个团队都有人被它坑过。6. Shell小技巧组合把单个命令拼成真正的生产力6.1 管道、重定向与逻辑符号理解Shell的执行思维单个命令只是零件Shell真正的威力在于把它们拼起来。我先讲透几个符号的本质区别。管道|把左边命令的标准输出接到右边命令的标准输入。ps -ef | grep nginx就是把进程列表喂给grep做过滤。管道处理的是数据流不是文件所以左右两侧命令同时运行。重定向和把输出写到文件并覆盖原内容追加到文件末尾。标准错误stderr和标准输出stdout是不同的通道只写只能捕获stdout报错信息经常还是会出现在屏幕上。如果想把两者都存进同一个文件command run.log 2121的含义是把文件描述符2标准错误重定向到文件描述符1标准输出当前指向的位置。这个写法从我开始用Linux到现在出现的频率高到几乎每天都会敲一次。如果懒得解释原理直接背下来当固定搭配也行。逻辑符号和;表示前一条命令成功了才执行后一条适合串联依赖步骤。;则不管前一条成不成功都会执行后一条适合无论如何都要做的收尾工作。6.2 history与alias把重复敲击变成一次回车每个Linux重度用户都有自己的一套alias配置这能让重复性工作变得轻快很多。我在~/.bashrc里的几组典型配置alias llls -lh alias lals -la alias grepgrep --colorauto alias dfdf -hT alias rmrm -i第四行rmrm -i是我自觉加上的保险删除时系统多问一次误删概率大幅下降。history配合快捷键的效率提升也常被低估。history看完整记录!4321直接重跑第4321条历史命令CtrlR反向搜索历史命令——输入几个关键字回车直接调出之前的长命令比翻聊天记录找命令快多了。6.3 几条日常高频的组合命令拿来就能用分享几条我几乎每天都要用到的组合命令它们不是小众技巧而是经历过真实场景验证的效率工具。# 查看实时日志只看最新追加的内容 tail -f /var/log/app/app.log # 在日志中查找某个关键词并实时跟踪 tail -f /var/log/app/app.log | grep ERROR # 找出当前目录下最大的10个文件或目录 du -ah --max-depth1 . | sort -hr | head -10 # 查看某个端口的连接状态确认是否有异常连接 ss -tan | awk {print $1} | sort | uniq -c # 压缩打包某个目录排除指定的缓存目录 tar czf backup.tar.gz --excludecache --excludetmp /opt/app/data第一条tail -f是排查问题的第一利器任何日志往后翻、持续观察新内容都靠它。第二条组合是在日志量非常大的情况下只输出匹配ERROR的行避免满屏刷屏看花眼。最后说一句压箱底的经验命令不是背出来的是查出来的。真正重要的不是记住了多少个命令而是知道有这么一个东西可以实现这个效果记不清具体语法时随时man 命令名或者命令名 --help现场查。用得多了自然就变成肌肉记忆了。就我个人而言把这些组合命令写进脚本和alias之后日常操作的效率提升了不止一个量级。如果你现在还在逐条敲命令不妨先从今天提到的几条开始尝试——挑一两个场景把它们真正用起来比一次性抄走全部技巧更有价值。
1. 定位导航与文件操作先解决90%的日常使用1.1 pwd、ls、cd的组合很多人忽略的基础细节刚接触Linux的时候我也有过拿着命令列表死记硬背的阶段但真正让我把命令用熟的不是背诵而是反复在真实环境里敲。先说最常用的三件套pwd、ls、cd。pwdprint working directory用来确认当前所在的绝对路径。很多人觉得它多余但当你用脚本处理文件路径、或者在多个目录之间跳来跳去的时候没有它你很快就会迷失方向。举个实操场景你在/opt/app/logs下面用tail看日志切到/tmp做临时操作后想回来靠记忆容易出错一条pwd就能把锚点钉死。ls的关键参数说实话绝大多数新手只用了默认输出这太浪费了。我日常必用的几个参数组合是ls -lh # 以人类可读方式显示文件大小K/M/G配合 h 参数一眼看出哪个文件占空间 ls -lt # 按修改时间倒序排列最新的文件在最上面排查问题时非常顺手 ls -la # 显示全部文件包含以 . 开头的隐藏配置文件注意ls -l输出里的第一列那一长串字符比如drwxr-xr-x实际上包含了文件类型和权限的两层信息。第一个字符d表示目录-表示普通文件l表示软链接后面每三个字符一组分别对应属主、属组、其他人的读r、写w、执行x权限。cd除了进入目录我最常用的偷懒技巧是cd -——直接回到上一个所在目录。比如你从/etc/nginx/conf.d切到/var/log/nginx看报错看完想回去改配置敲一下cd -就够了不用重新输入一长串路径。这个操作在需要来回对比配置文件和日志的场景下效率提升非常明显。1.2 cp、mv、rm覆盖、备份和删不掉的问题文件操作三兄弟cp、mv、rm看起来简单实际踩过的坑一点都不少。先看cp。复制目录必须加-r这是最基础的要求cp -r /opt/app/config /opt/app/config_backup_20250115这个-r很多人记成 recursive递归理解到位就不会漏。cp还有几个容易忽略的好用参数-i目标文件已存在时询问是否覆盖配合alias设置后能防止误覆盖。-p保留原始文件的属性权限、时间戳备份配置文件时特别有用。-a等效于-dpR常用于完整复制目录树做归档备份。我自己的习惯是只要涉及覆盖操作就先ls确认目标目录里有什么再用-i让系统多问一次避免一年一次的备份把新配置文件冲掉。再看mv。它有一个隐藏知识点同一文件系统内移动是改个指针级别的瞬时操作跨文件系统则是复制删除。所以当你把文件从/home移动到/data两个独立分区时如果文件很大会感觉到明显的耗时这是正常的物理复制不是系统卡了。最后说rm这是Linux里最需要敬畏的命令。我见过不止一次同事在/tmp下测试命令一个不留神把变量写空执行了rm -rf $DIR/*结果$DIR没赋值变成rm -rf /*后果不堪设想。我现在的安全做法是# 先对删除目标做一次 ls 确认 ls -la /path/to/target # 删除时带上 -i 或者干脆先移动到临时回收目录 mv /path/to/target /tmp/trash_20250115/把要删的东西先移动到/tmp下的回收目录观察几天确认没问题再彻底清空这才是稳妥的操作。生产服务器上永远不要练手速。2. 文本处理三剑客grep/sed/awk的正确打开方式2.1 grep从只会搜关键字到熟练组合参数grep搜索文本几乎是每天必用的命令但大多数人只会grep error log.txt。它真正的威力在于组合参数我列几个高频场景grep -i error /var/log/app.log # 忽略大小写搜索 grep -r timeout /opt/app/config/ # 递归搜索目录下所有文件 grep -E error|warn|fatal /var/log/app.log # 扩展正则匹配多个关键词 grep -v ^# /etc/nginx/nginx.conf # 过滤掉注释行只看有效配置 grep -c exception app.log # 统计匹配到的行数 grep -n Traceback app.log # 显示行号方便回溯新手最容易忽略的是grep -r在搜索日志目录时的输出格式。比如在/var/log/下递归搜索时结果会带文件路径前缀。如果只关心内容本身可以加-h去掉文件名如果想知道每条匹配来自哪个文件-l只输出文件名列表配合后续精准查看效率更高。还有一个心得搜索日志发现没结果时先怀疑正则写错不是故障消失了。有一次我搜ERROR 500怎么搜都是空后来发现日志里实际记录的是http_status500关键词根本没对上。先用tail -n 50 app.log看一段真实内容格式再组织搜索词能省下大量无效排查时间。2.2 sed流编辑器里最高频的三个场景sed被很多人当成上古神兽敬而远之但它真正高频的场景其实只有三个替换、按行提取、批量删除。场景一替换文本# 把配置里的旧域名换成新地址 sed -i s/192\.0\.2\.10/192.0.2.20/g /opt/app/conf/app.confs/旧文本/新文本/g是替换的命令结构最后的g表示全局替换行内所有匹配不加它只替换每行第一个。注意点号在正则里是通配符匹配任意字符所以匹配IP时要把.转义成\.否则可能出现意外替换。场景二按行号提取# 查看日志第100到第150行 sed -n 100,150p app.log-n关闭默认输出p打印指定范围。这个技巧在日志文件好几GB、cat会卡死的情况下非常实用。场景三删除匹配行# 删除所有包含 DEBUG 的行且直接写回源文件 sed -i /DEBUG/d app.log这里的d是删除命令。-i参数是直接修改原文件没有备份习惯时慎用。我自己的规则是凡是sed -i操作生产配置文件先手动复制一份.bak出现问题能秒回滚。这是拿时间换来的教训早期用sed -i顺手改了个正则把小半个配置文件洗了没有备份就只能从头补。2.3 awk按列处理数据的入门套路awk的默认处理单位是一行按空白分割后的多个字段这正好覆盖了绝大多数日志和表格类文本的需求。最经典的入门命令# 打印第一列和最后一列 awk {print $1, $NF} access.log$1是第一列$NF是最后一列NF 是字段总数变量。以Nginx访问日志为例通常第一列是客户端IP最后一列是请求耗时这条命令直接就能产出性能分析源数据。awk做条件过滤也很顺手# 找出请求耗时大于3秒的日志行 awk $NF 3 {print $1, $NF} access.log这里$NF是数值直接和3比较。再复杂一点统计访问次数最高的前10个IPawk {print $1} access.log | sort | uniq -c | sort -rn | head -10这条组合命令的思路很值得讲awk先抽出第一列的IPsort排序让相同IP相邻uniq -c计数并去重sort -rn按计数反向排序最后head -10取前十。这个管道组合在日志分析里出现频率极高建议直接背下来。3. 权限、用户与进程从能跑到稳定跑的分水岭3.1 chmod、chown、umask看完这组命令才算入门权限设置是Linux和Windows体验差异最大的地方也是新手最容易用暴力解法绕过去的地方——我说的就是chmod 777。数字权限的本质是三组权限的八进制简写。读是4写是2执行是1每组权限的数字就是这三个值相加7 421可读可写可执行6 42可读可写5 41可读可执行所以chmod 755 file表示属主拥有全部权限7属组可读可执行5其他人可读可执行5。而chmod 644 file是属主可读写6属组和其他人只读4。普通文件用644、目录用755是通用的安全起点。遇到服务起不来或者文件写不进去的问题正确排查顺序是ls -l /path/to/file whoami groups先看文件属于谁、权限是什么再确认当前用户是谁、在哪个组。多数情况不是权限数字不对而是属主和属组搞错了此时要用chown调整归属chown -R appuser:appgroup /opt/app/data-R递归修改目录内所有文件和子目录部署应用或挂载数据目录时几乎必备。再补充一个容易被忽略的umask。它是新建文件的默认权限掩码比如系统umask是022意思是从默认777里减掉022组和其他人的写权限最终新建文件是755而普通文件中大多数程序会再主动去掉执行位所以通常是644。搞清楚这个逻辑就不会遇到刚创建的脚本没有执行权限时满脸问号。3.2 ps、top、kill现场演示一次完整的进程管理查进程、看负载、杀进程这是服务器出问题时最标准的处理链路。第一步定位进程ps -ef | grep javaps -ef输出所有进程的完整信息包括UID、PID、PPID、CPU/内存占用、启动命令。配合grep可以快速锁定目标进程。ps aux也是常用写法两者信息量接近只是格式侧重不同aux适合看CPU和内存占比-ef适合看父进程关系。第二步看资源占用toptop默认按CPU使用率排序按M键可以切到按内存排序按P键回到CPU排序。需要关注的核心指标是%CPU、%MEM、RES常驻内存和TIME累计CPU时间。一个进程CPU占用长期超过100%在项目正常波动内可能不算异常但如果是不该出现的进程就得注意了。第三步处理异常进程kill -15 PID # 先温柔地请求退出让进程自己清理资源 kill -9 PID # 强杀用于无响应的情况kill不加参数默认发-15SIGTERM进程可以拦截并做善后处理。-9SIGKILL是强杀内核直接终止进程没有机会保存状态。我的习惯是先-15观察5秒没退出再用-9。直接上-9可能会留下残留的共享内存、临时文件、不完整的数据库写入后续反而更难收拾。曾经有一次线上服务内存持续上涨我ps -ef | grep xxx找到一堆僵尸子进程PPID已经变成1被init收养常规kill都无效。最后排查到是父进程没有正确wait回收子进程程序逻辑问题命令行工具只能用来发现最终还得靠改代码。4. 系统状态排查当机器出问题时该怎么问4.1 df、du、free三句话摸清磁盘和内存服务器响应慢、服务异常退出第一步永远是检查资源水位而不是急着看代码。df、du、free三条命令能在半分钟内给出一份基础体检报告。df -hT-h人类可读-T显示文件系统类型。重点关注/和/home、/data这类挂载点的Use%超过80%就进入预警区间。磁盘满时有个经典现象程序还在正常运行但写日志报No space left on device。有个排查细节特别容易迷惑人df显示占用100%但du -sh /*怎么加都加不满。这通常是有文件被删除但进程仍然持有文件句柄——文件在磁盘上的空间没有真正释放只有重启对应进程才会回收。定位方式是lsof | grep deleted找到持有被删文件的PID确认无误后重启该服务空间才能释放。知道这个坑之后处理磁盘满了但找不到大文件的问题就轻松多了。free -h看内存时重点不是free那一列而是available。Linux会把空闲内存拿去做buff/cache缓存磁盘数据真正可用的内存要看available它是可以直接分配给新进程的内存估算值。如果available经常低于总内存的20%说明内存偏紧下一步就该用top排序看谁在吃内存了。4.2 uname、uptime、dmesg快速了解这台机器的身体状况接手一台陌生的机器我先用三条命令建立对它的大致认知uname -a输出内核版本、主机名、硬件架构。它能立刻告诉你系统是64位还是32位、内核是什么版本安装软件时选择对应包就需要这些信息。uptime这条命令输出当前时间、运行时长、登录用户数、以及过去1分钟、5分钟、15分钟的平均负载。负载这个数字容易被误读它不等于CPU使用率而是处于运行或不可中断状态的进程数量。判断是否过载要看负载和CPU核数的比例——四核机器负载持续超过4.0基本可以认为CPU是瓶颈了。dmesg -T | tail -50dmesg显示内核环形缓冲区的消息-T把时间戳转成可读格式。硬件报错、磁盘I/O错误、OOM内存耗尽记录、网络设备异常基本都能在这里看到痕迹。如果某天应用程序莫名其妙崩溃来dmesg翻一翻经常能看到Out of memory: Kill process这类关键线索。5. 网络排查与文件传输从本地到远程的常用操作5.1 ping、curl、ss一套连贯的网络诊断流程网络问题排查我很少吃一条命令定生死的亏而是固定走一套流程。先看三层再看七层。第一步ping 测连通性ping -c 4 192.0.2.10-c 4只发四个包就停避免一直ping停不下来。观察time值判断延迟观察packet loss判断丢包率。ping 通只能说明三层网络通不能代表应用可用——服务没起来照样能ping通。第二步curl 验证应用层curl -I http://192.0.2.10:8080/health-I只取响应头比完整拉取正文更轻量。如果返回200 OK那说明服务正常返回502或504就要往上游排查比如网关后面的应用没启动。第三步ss 查看端口监听状态ss -tulnp-tTCP协议-uUDP协议-l只显示监听状态-n不解析服务名只显示端口数字-p显示占用进程。这台机器上哪些端口在监听、由哪个进程占用一眼就能看出来。替换掉早期习惯用的netstatss更快信息也更全。5.2 scp、rsync文件传输的取舍小文件传输用scp简单直接scp /opt/app/backup_20250115.tar.gz appuser192.0.2.20:/data/backup/本地文件推送到远端或者反过来拉取都可以。但要传输大量文件、或者做定期同步rsync是更好的选择它的核心优势是增量同步——只传变化的部分。我备份目录的习惯命令rsync -avz --progress /opt/app/data/ appuser192.0.2.20:/data/backup/data/参数拆解-a归档模式保留权限和时间戳-v显示过程-z传输时压缩--progress显示进度。用rsync有一个必须注意的经典细节源路径末尾的斜杠决定行为。rsync -av /path/a/ /path/b/表示把a目录下的内容同步到b目录但rsync -av /path/a /path/b/会把a目录本身放到b里面变成b/a/。很多时候同步完发现层级多了一层就是这个斜杠在捣鬼我复盘时发现几乎每个团队都有人被它坑过。6. Shell小技巧组合把单个命令拼成真正的生产力6.1 管道、重定向与逻辑符号理解Shell的执行思维单个命令只是零件Shell真正的威力在于把它们拼起来。我先讲透几个符号的本质区别。管道|把左边命令的标准输出接到右边命令的标准输入。ps -ef | grep nginx就是把进程列表喂给grep做过滤。管道处理的是数据流不是文件所以左右两侧命令同时运行。重定向和把输出写到文件并覆盖原内容追加到文件末尾。标准错误stderr和标准输出stdout是不同的通道只写只能捕获stdout报错信息经常还是会出现在屏幕上。如果想把两者都存进同一个文件command run.log 2121的含义是把文件描述符2标准错误重定向到文件描述符1标准输出当前指向的位置。这个写法从我开始用Linux到现在出现的频率高到几乎每天都会敲一次。如果懒得解释原理直接背下来当固定搭配也行。逻辑符号和;表示前一条命令成功了才执行后一条适合串联依赖步骤。;则不管前一条成不成功都会执行后一条适合无论如何都要做的收尾工作。6.2 history与alias把重复敲击变成一次回车每个Linux重度用户都有自己的一套alias配置这能让重复性工作变得轻快很多。我在~/.bashrc里的几组典型配置alias llls -lh alias lals -la alias grepgrep --colorauto alias dfdf -hT alias rmrm -i第四行rmrm -i是我自觉加上的保险删除时系统多问一次误删概率大幅下降。history配合快捷键的效率提升也常被低估。history看完整记录!4321直接重跑第4321条历史命令CtrlR反向搜索历史命令——输入几个关键字回车直接调出之前的长命令比翻聊天记录找命令快多了。6.3 几条日常高频的组合命令拿来就能用分享几条我几乎每天都要用到的组合命令它们不是小众技巧而是经历过真实场景验证的效率工具。# 查看实时日志只看最新追加的内容 tail -f /var/log/app/app.log # 在日志中查找某个关键词并实时跟踪 tail -f /var/log/app/app.log | grep ERROR # 找出当前目录下最大的10个文件或目录 du -ah --max-depth1 . | sort -hr | head -10 # 查看某个端口的连接状态确认是否有异常连接 ss -tan | awk {print $1} | sort | uniq -c # 压缩打包某个目录排除指定的缓存目录 tar czf backup.tar.gz --excludecache --excludetmp /opt/app/data第一条tail -f是排查问题的第一利器任何日志往后翻、持续观察新内容都靠它。第二条组合是在日志量非常大的情况下只输出匹配ERROR的行避免满屏刷屏看花眼。最后说一句压箱底的经验命令不是背出来的是查出来的。真正重要的不是记住了多少个命令而是知道有这么一个东西可以实现这个效果记不清具体语法时随时man 命令名或者命令名 --help现场查。用得多了自然就变成肌肉记忆了。就我个人而言把这些组合命令写进脚本和alias之后日常操作的效率提升了不止一个量级。如果你现在还在逐条敲命令不妨先从今天提到的几条开始尝试——挑一两个场景把它们真正用起来比一次性抄走全部技巧更有价值。
