1. Linux文件统计利器du命令深度解析在Linux系统管理中磁盘空间管理是每个运维人员和开发者必须掌握的基础技能。当你的服务器突然报警磁盘空间不足或者需要清理老旧日志文件时快速准确地定位磁盘大户就显得尤为重要。dudisk usage命令正是为此而生的瑞士军刀它能递归统计目录和文件的磁盘使用情况比简单的ls -lh命令提供更全面的空间占用视角。我曾在一次生产环境事故中深刻体会到du的价值——当时一个Java应用的日志文件失控增长在短短三天内吃掉了90%的磁盘空间。正是通过du命令的深度扫描我们迅速定位到/var/log下那个已经膨胀到80GB的application.log文件避免了服务宕机。这种实战经历让我明白看似简单的du命令背后其实隐藏着许多提高效率的技巧和容易踩坑的细节。2. du命令核心参数详解2.1 基础统计模式不带任何参数的du命令会递归显示当前目录下所有子目录的大小默认以KB为单位$ du 4 ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default/httpswww.youtube.com 8 ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default 12 ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage ...这种原始输出往往信息过载实际工作中我们通常会组合使用以下参数-h人类可读格式自动转换KB/MB/GB$ du -h 4.0K ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default/httpswww.youtube.com 8.0K ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default 12K ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage-s只显示总计大小summary$ du -sh /var/log 1.2G /var/log--max-depthN控制递归深度$ du -h --max-depth1 /usr 144M /usr/bin 1.2G /usr/lib 56M /usr/sbin 2.4G /usr2.2 高级过滤技巧当需要分析特定类型的文件时可以结合find命令# 统计当前目录下所有.jpg文件的总大小 $ find . -name *.jpg -exec du -ch {} | grep total 1.4G total排除特定目录如.git$ du -h --exclude.git --max-depth12.3 文件与目录的统计差异新手常混淆的一个概念是du与ls显示的大小区别ls -l显示的是文件实际内容大小逻辑大小du显示的是磁盘占用大小物理大小这种差异主要来自稀疏文件sparse files文件系统块大小通常为4KB硬链接计数例如创建一个1GB的稀疏文件$ truncate -s 1G sparse_file $ ls -lh sparse_file -rw-r--r-- 1 user user 1.0G Jul 20 10:00 sparse_file $ du -h sparse_file 0 sparse_file3. 生产环境实用案例集锦3.1 快速定位磁盘空间占用TOP10组合sort和head命令可以快速找出大户# 查找/var目录下最大的10个目录 $ du -h /var --max-depth1 | sort -rh | head -n 10 2.4G /var/lib 1.2G /var/log 560M /var/cache ...3.2 定期监控脚本示例以下脚本可记录目录大小变化适合加入cron定时任务#!/bin/bash LOG_FILE/var/log/disk_usage.log TARGET_DIRS(/var/log /home /tmp) echo $(date) $LOG_FILE for dir in ${TARGET_DIRS[]}; do size$(du -s $dir | awk {print $1}) echo $dir: ${size}KB $LOG_FILE done3.3 容器环境特殊处理在Docker环境中经常需要分析容器占用的磁盘空间# 查看所有容器的大小 $ docker ps -s --format {{.ID}}\t{{.Size}} # 深入分析具体容器的层结构 $ docker system df -v注意在容器内使用du统计/var/lib/docker时可能会因为mount namespace导致统计不准确建议在宿主机执行。4. 性能优化与常见陷阱4.1 加速大目录统计当处理数百万文件的大目录时du可能变得很慢。以下技巧可以提升速度使用--inodes替代统计仅统计文件数$ df -i /home # 查看inode使用情况跳过特定文件系统如proc$ du -h -x / # 不跨越文件系统使用更快的替代工具如ncdu$ ncdu /var/log4.2 典型问题排查问题1du和df显示的总量不一致常见原因文件已被删除但进程仍持有lsof检查磁盘配额限制文件系统错误建议运行fsck问题2统计结果异常偏大检查点未被清理的docker镜像docker system prune未轮转的日志文件配置logrotate崩溃程序产生的core dumpulimit -c设置问题3权限不足导致统计不全解决方法$ sudo du -h /root # 需要root权限的目录 $ du -h --time 2/dev/null # 静默权限错误5. 扩展工具链推荐虽然du能满足基本需求但在特定场景下这些工具可能更高效工具名称适用场景安装方法优势ncdu交互式分析apt install ncdu可视化导航支持删除操作gdu高性能替代go install github.com/dundee/gdu/v5latest多线程扫描速度提升5xdust图形化展示cargo install du-dust树状图展示直观明了baobabGUI工具apt install baobab图形化环状图分析例如使用gdu进行快速扫描$ gdu -a /var # 显示所有文件详情 $ gdu -p /home # 显示百分比对于需要持续监控的场景推荐结合Prometheus的node_exporter# 在node_exporter配置中添加 --collector.diskstats.ignored-devices^(ram|loop|fd|(h|s|v|xv)d[a-z]|nvme\dn\dp)\d$6. 内核级统计原理剖析理解du的工作原理有助于更精准地解读结果。当执行du -sh /path时内核中会发生通过stat系统调用获取文件inode信息根据文件类型处理常规文件统计blocks × block_size通常为4096B目录递归统计所有条目符号链接默认不跟踪需-L参数考虑硬链接的重复计数问题-l参数控制可以通过strace观察系统调用$ strace -e tracefile du -sh /tmp 21 | grep open(文件系统特性对统计的影响Btrfs的透明压缩会使du统计值大于实际磁盘占用XFS的延迟分配可能导致新文件显示为0KBNFS挂载点可能需要指定--remote参数7. 自动化运维集成方案在企业级监控体系中du统计可以这样集成Telegraf采集配置[[inputs.exec]] commands [/usr/bin/du -sb /var/log] timeout 10s data_format influxPrometheus监控规则- name: disk_usage rules: - alert: HighDiskUsage expr: node_filesystem_avail_bytes{mountpoint/var} / node_filesystem_size_bytes{mountpoint/var} 0.2 for: 30mAnsible巡检任务- name: Check critical directories hosts: all tasks: - name: Get /var/log size command: du -s /var/log register: log_size - name: Alert if too large fail: msg: /var/log too large ({{ log_size.stdout }}KB) when: log_size.stdout|int 1000000对于超大规模集群可以考虑分布式统计方案# 使用parallel并行扫描多个节点 $ parallel -j 10 ssh {} du -s /path ::: node{1..50}
1. Linux文件统计利器du命令深度解析在Linux系统管理中磁盘空间管理是每个运维人员和开发者必须掌握的基础技能。当你的服务器突然报警磁盘空间不足或者需要清理老旧日志文件时快速准确地定位磁盘大户就显得尤为重要。dudisk usage命令正是为此而生的瑞士军刀它能递归统计目录和文件的磁盘使用情况比简单的ls -lh命令提供更全面的空间占用视角。我曾在一次生产环境事故中深刻体会到du的价值——当时一个Java应用的日志文件失控增长在短短三天内吃掉了90%的磁盘空间。正是通过du命令的深度扫描我们迅速定位到/var/log下那个已经膨胀到80GB的application.log文件避免了服务宕机。这种实战经历让我明白看似简单的du命令背后其实隐藏着许多提高效率的技巧和容易踩坑的细节。2. du命令核心参数详解2.1 基础统计模式不带任何参数的du命令会递归显示当前目录下所有子目录的大小默认以KB为单位$ du 4 ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default/httpswww.youtube.com 8 ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default 12 ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage ...这种原始输出往往信息过载实际工作中我们通常会组合使用以下参数-h人类可读格式自动转换KB/MB/GB$ du -h 4.0K ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default/httpswww.youtube.com 8.0K ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage/default 12K ./.cache/mozilla/firefox/xbw9f8cu.default-release/storage-s只显示总计大小summary$ du -sh /var/log 1.2G /var/log--max-depthN控制递归深度$ du -h --max-depth1 /usr 144M /usr/bin 1.2G /usr/lib 56M /usr/sbin 2.4G /usr2.2 高级过滤技巧当需要分析特定类型的文件时可以结合find命令# 统计当前目录下所有.jpg文件的总大小 $ find . -name *.jpg -exec du -ch {} | grep total 1.4G total排除特定目录如.git$ du -h --exclude.git --max-depth12.3 文件与目录的统计差异新手常混淆的一个概念是du与ls显示的大小区别ls -l显示的是文件实际内容大小逻辑大小du显示的是磁盘占用大小物理大小这种差异主要来自稀疏文件sparse files文件系统块大小通常为4KB硬链接计数例如创建一个1GB的稀疏文件$ truncate -s 1G sparse_file $ ls -lh sparse_file -rw-r--r-- 1 user user 1.0G Jul 20 10:00 sparse_file $ du -h sparse_file 0 sparse_file3. 生产环境实用案例集锦3.1 快速定位磁盘空间占用TOP10组合sort和head命令可以快速找出大户# 查找/var目录下最大的10个目录 $ du -h /var --max-depth1 | sort -rh | head -n 10 2.4G /var/lib 1.2G /var/log 560M /var/cache ...3.2 定期监控脚本示例以下脚本可记录目录大小变化适合加入cron定时任务#!/bin/bash LOG_FILE/var/log/disk_usage.log TARGET_DIRS(/var/log /home /tmp) echo $(date) $LOG_FILE for dir in ${TARGET_DIRS[]}; do size$(du -s $dir | awk {print $1}) echo $dir: ${size}KB $LOG_FILE done3.3 容器环境特殊处理在Docker环境中经常需要分析容器占用的磁盘空间# 查看所有容器的大小 $ docker ps -s --format {{.ID}}\t{{.Size}} # 深入分析具体容器的层结构 $ docker system df -v注意在容器内使用du统计/var/lib/docker时可能会因为mount namespace导致统计不准确建议在宿主机执行。4. 性能优化与常见陷阱4.1 加速大目录统计当处理数百万文件的大目录时du可能变得很慢。以下技巧可以提升速度使用--inodes替代统计仅统计文件数$ df -i /home # 查看inode使用情况跳过特定文件系统如proc$ du -h -x / # 不跨越文件系统使用更快的替代工具如ncdu$ ncdu /var/log4.2 典型问题排查问题1du和df显示的总量不一致常见原因文件已被删除但进程仍持有lsof检查磁盘配额限制文件系统错误建议运行fsck问题2统计结果异常偏大检查点未被清理的docker镜像docker system prune未轮转的日志文件配置logrotate崩溃程序产生的core dumpulimit -c设置问题3权限不足导致统计不全解决方法$ sudo du -h /root # 需要root权限的目录 $ du -h --time 2/dev/null # 静默权限错误5. 扩展工具链推荐虽然du能满足基本需求但在特定场景下这些工具可能更高效工具名称适用场景安装方法优势ncdu交互式分析apt install ncdu可视化导航支持删除操作gdu高性能替代go install github.com/dundee/gdu/v5latest多线程扫描速度提升5xdust图形化展示cargo install du-dust树状图展示直观明了baobabGUI工具apt install baobab图形化环状图分析例如使用gdu进行快速扫描$ gdu -a /var # 显示所有文件详情 $ gdu -p /home # 显示百分比对于需要持续监控的场景推荐结合Prometheus的node_exporter# 在node_exporter配置中添加 --collector.diskstats.ignored-devices^(ram|loop|fd|(h|s|v|xv)d[a-z]|nvme\dn\dp)\d$6. 内核级统计原理剖析理解du的工作原理有助于更精准地解读结果。当执行du -sh /path时内核中会发生通过stat系统调用获取文件inode信息根据文件类型处理常规文件统计blocks × block_size通常为4096B目录递归统计所有条目符号链接默认不跟踪需-L参数考虑硬链接的重复计数问题-l参数控制可以通过strace观察系统调用$ strace -e tracefile du -sh /tmp 21 | grep open(文件系统特性对统计的影响Btrfs的透明压缩会使du统计值大于实际磁盘占用XFS的延迟分配可能导致新文件显示为0KBNFS挂载点可能需要指定--remote参数7. 自动化运维集成方案在企业级监控体系中du统计可以这样集成Telegraf采集配置[[inputs.exec]] commands [/usr/bin/du -sb /var/log] timeout 10s data_format influxPrometheus监控规则- name: disk_usage rules: - alert: HighDiskUsage expr: node_filesystem_avail_bytes{mountpoint/var} / node_filesystem_size_bytes{mountpoint/var} 0.2 for: 30mAnsible巡检任务- name: Check critical directories hosts: all tasks: - name: Get /var/log size command: du -s /var/log register: log_size - name: Alert if too large fail: msg: /var/log too large ({{ log_size.stdout }}KB) when: log_size.stdout|int 1000000对于超大规模集群可以考虑分布式统计方案# 使用parallel并行扫描多个节点 $ parallel -j 10 ssh {} du -s /path ::: node{1..50}
