1. 服务器硬件选型与 RAID 配置的底层逻辑很多刚接触服务器运维的朋友拿到一台物理机之后第一反应就是插电、装系统、跑服务结果业务一上量就发现磁盘 IO 成为瓶颈或者一块盘坏了整个阵列直接崩掉。这类问题的根源往往不在软件层而是在最初那一步——硬件选型和 RAID 配置就没打牢。我自己在早期做机房交付的时候就吃过这个亏一台二手服务器四块盘草草做了 RAID 0跑数据库不到三个月一块盘出现坏道数据全丢只能从备份恢复整整折腾了一个通宵。从那以后我对服务器硬件和 RAID 的理解才算真正入门。这篇文章想聊的就是 Linux 服务器从硬件层面到 RAID 阵列的完整落地过程。核心关键词包括服务器硬件选型、RAID 级别选择、磁盘阵列配置、Linux 软 RAID、硬件 RAID 卡管理、磁盘性能调优。内容会覆盖从 CPU、内存、磁盘、RAID 卡的基础认知到实际在 Linux 下用mdadm做软 RAID、用storcli或MegaCli管理硬件 RAID 的完整实操。适合谁看如果你是刚入行的运维、正在搭建自建机房或私有云的技术人员或者想搞清楚 RAID 到底该怎么选、怎么配、怎么排障的开发者这篇内容应该能帮你少走不少弯路。我尽量不写成教科书而是按照一个实际交付项目的思路来展开先讲清楚为什么这么选再讲怎么配最后讲踩过的坑怎么填。你完全可以拿着这篇文章当操作手册对着自己的机器一步步来。2. 服务器硬件核心组件与选型思路2.1 CPU 与内存别让算力和缓存成为短板服务器硬件选型的第一步永远是搞清楚业务类型。是计算密集型、IO 密集型还是内存密集型这直接决定了 CPU 和内存的配比。我见过不少项目磁盘阵列配得漂漂亮亮结果 CPU 核心数不够数据库连接一多就排队RAID 再快也没用。CPU 这块核心数和主频要平衡。以常见的数据库场景为例MySQL 这类服务对单核主频比较敏感核心数太多但主频低反而可能不如少核心高主频。而像视频转码、批量计算这类场景核心数就是硬通货。我的经验是数据库和缓存类服务优先高主频计算和并发类服务优先多核心。另外要注意 NUMA 架构双路 CPU 的服务器内存要均匀插在两个 CPU 对应的插槽上否则跨 NUMA 访问内存延迟会明显上升。可以用lscpu和numactl --hardware查看 NUMA 拓扑。内存方面ECC 内存是服务器的底线别用普通台式机内存凑合。ECC 能检测并纠正单比特错误长时间运行的服务内存出错的概率比你想的高。容量上数据库场景建议内存至少能装下热数据缓存命中率上去了磁盘压力自然就小了。我一般会留 20% 到 30% 的余量给操作系统和突发流量。2.2 磁盘与 RAID 卡决定 IO 上限的关键磁盘是服务器里最容易成为瓶颈的部件。机械盘HDD便宜、容量大但随机 IO 差固态盘SSD随机 IO 强但每 GB 成本高。实际项目里我通常会用 SSD 做系统盘和热数据盘HDD 做冷数据和大容量存储两者结合性价比最高。RAID 卡是硬件 RAID 的核心。它有自己的处理器和缓存能卸载 CPU 的 RAID 计算压力还支持掉电保护BBU 或超级电容。带缓存的 RAID 卡写性能提升非常明显因为写操作先落到缓存就返回后续再刷盘。选购时注意几点缓存大小512MB 起步1GB 以上更好、是否支持 BBU、支持的 RAID 级别、接口类型SAS/SATA/NVMe。常见的品牌有 LSI/Broadcom 系列管理工具一般是storcli或MegaCli。提示RAID 卡缓存如果没有电池或超级电容保护遇到突然断电缓存里没刷盘的数据会丢。生产环境务必确认 BBU 或电容状态正常。2.3 电源、网卡与散热容易被忽视的稳定性因素电源要做冗余11 或 22 都行关键是别单电源。我遇到过机房一路电跳闸单电源服务器直接宕机的情况。双电源分别接不同的 PDU才能扛住单路故障。网卡方面千兆是底线现在万兆越来越普遍。做存储或高并发服务万兆网卡能明显降低网络延迟。如果做 bonding记得在交换机侧配好 LACP否则链路聚合不生效。散热也别忽视服务器风扇策略一般在 BIOS 里调默认可能是节能模式高负载下 CPU 会降频改成性能模式能稳住频率但噪音和功耗会上去这个要权衡。3. RAID 级别详解与选型决策3.1 常见 RAID 级别的原理与适用场景RAID 不是越高越好而是要看业务需求。下面这张表是我自己总结的常用 RAID 级别对比基本覆盖了日常选型RAID 级别最少磁盘数冗余能力可用容量读性能写性能典型场景RAID 02无100%高高临时数据、缓存RAID 12允许坏1块50%高中系统盘、小容量高可靠RAID 53允许坏1块(N-1)/N高中低读多写少、文件存储RAID 64允许坏2块(N-2)/N高低大容量冷存储RAID 104允许坏多块50%高高数据库、高并发RAID 0 是条带化没有冗余一块盘坏全盘数据丢失只适合对性能要求极高且数据可再生的场景。RAID 1 是镜像两块盘互为备份可靠性高但容量利用率只有一半适合系统盘。RAID 5 是带分布式校验的条带允许坏一块盘容量利用率高但写操作需要计算校验写性能一般而且重建时风险较高。RAID 6 双校验允许坏两块盘适合大容量阵列但写性能更差。RAID 10 是先镜像再条带兼顾性能与可靠性是数据库场景的首选。3.2 硬件 RAID 与软件 RAID 的取舍硬件 RAID 靠 RAID 卡完成对操作系统透明性能好不占 CPU但成本高卡坏了要换同型号或兼容型号才能导入阵列。软件 RAID 靠操作系统实现Linux 下就是mdadm成本低灵活但占 CPU 资源性能略逊。我的建议是生产环境、对性能和可靠性要求高的优先硬件 RAID测试环境、预算有限、或者用 NVMe 盘做 RAID 的可以考虑软件 RAID。NVMe 盘做硬件 RAID 成本很高用mdadm做软 RAID 反而更灵活。另外现在很多场景用分布式存储替代了传统 RAID比如 Ceph那是另一个话题了。3.3 热备盘与重建策略别等盘坏了才想热备盘Hot Spare是 RAID 阵列里的备用盘一旦有成员盘故障热备盘自动顶上去开始重建。全局热备盘可以被任意阵列使用专用热备盘只服务指定阵列。生产环境我一般会配一块全局热备盘尤其是 RAID 5 和 RAID 6 这种重建压力大的阵列。重建策略也很关键。重建时磁盘 IO 压力大如果业务本身 IO 就高重建可能拖垮性能甚至导致第二块盘也坏掉。可以在 RAID 卡里设置重建速率比如限制在 30% 到 50%牺牲一点重建时间换取业务稳定。这个参数在storcli里可以调后面实操部分会讲。4. Linux 下硬件 RAID 配置实战4.1 用 storcli 查看与管理 RAID 卡假设你拿到一台带 LSI/Broadcom RAID 卡的服务器第一步是确认卡的状态。storcli是常用的管理工具安装后先看控制器列表# 查看控制器信息 storcli /c0 show # 查看物理磁盘列表 storcli /c0/eall/sall show # 查看虚拟磁盘阵列列表 storcli /c0/vall show/c0表示第一块控制器eall表示所有 Enclosuresall表示所有 Slot。输出里重点关注磁盘状态UGood 表示正常UBad 表示故障、阵列状态Optl 表示最优Dgrd 表示降级。创建 RAID 5 阵列假设用 0 到 3 号槽的四块盘其中三块做 RAID 5一块做热备# 创建 RAID 5指定磁盘 storcli /c0 add vd typeraid5 drives252:0-2 # 添加全局热备盘 storcli /c0/e252/s3 add hotsparedrive这里的252是 Enclosure ID实际环境要用storcli /c0/eall/sall show查到的真实 ID。创建完成后用storcli /c0/vall show确认阵列状态是 Optl。注意创建阵列会清空磁盘数据操作前务必确认磁盘上没有有用数据或者已经备份。4.2 调整重建速率与缓存策略重建速率直接影响业务稳定性。查看当前设置storcli /c0 show rebuildrate设置重建速率为 30%storcli /c0 set rebuildrate30缓存策略方面写策略一般有 WriteBack 和 WriteThrough。WriteBack 性能好但依赖 BBUWriteThrough 直接写盘性能差但安全。有 BBU 的情况下用 WriteBack没有就老老实实 WriteThrough。查看和设置# 查看当前策略 storcli /c0/v0 show all | grep -i cache # 设置写策略为 WriteBack storcli /c0/v0 set wrcacheWB读策略一般用 ReadAhead预读能提升顺序读性能。这些参数调整后最好用fio做个基准测试确认性能符合预期。4.3 阵列扩容与磁盘替换业务增长后可能需要给阵列扩容。硬件 RAID 支持在线扩容OCEOnline Capacity Expansion但操作有风险务必先备份。步骤大致是加新盘、扩容阵列、扩展文件系统。以storcli为例# 向现有阵列添加磁盘 storcli /c0/v0 start migrate typeraid5 add drives252:4 # 查看迁移进度 storcli /c0/v0 show migrate迁移完成后用parted或growpart扩展分区再用resize2fs或xfs_growfs扩展文件系统。整个过程 IO 压力大建议在业务低峰期做。磁盘替换更常见。一块盘故障后拔掉坏盘插入新盘如果是热备盘会自动重建如果没有热备需要手动把新盘加入阵列# 手动重建 storcli /c0/e252/s0 insert dg0 array0 row0重建期间密切关注进度和业务性能必要时降低重建速率。5. Linux 软件 RAID 配置实战5.1 mdadm 基础操作与阵列创建没有硬件 RAID 卡或者想用 NVMe 盘做 RAIDmdadm就是主力工具。先安装# Debian/Ubuntu apt install mdadm # RHEL/CentOS yum install mdadm假设有四块盘/dev/sdb到/dev/sde做 RAID 10# 创建 RAID 10 mdadm --create /dev/md0 --level10 --raid-devices4 /dev/sd[b-e] # 查看阵列状态 cat /proc/mdstat mdadm --detail /dev/md0/proc/mdstat能看到重建进度和阵列状态。创建完成后保存配置否则重启后阵列可能起不来mdadm --detail --scan /etc/mdadm/mdadm.conf update-initramfs -u5.2 软 RAID 的监控与故障处理软 RAID 的监控靠mdadm --monitor和邮件告警。可以配一个 systemd 服务或者 cron定期检查/proc/mdstat。故障处理方面一块盘坏了mdadm --detail会显示 faulty。移除坏盘mdadm /dev/md0 --fail /dev/sdb --remove /dev/sdb插入新盘后添加mdadm /dev/md0 --add /dev/sdb重建会自动开始。软 RAID 重建占 CPU业务高峰期要留意负载。5.3 软 RAID 的性能调优软 RAID 的性能受chunk size和stripe cache影响。chunk size是条带大小默认 512KB数据库场景可以调小到 64KB 或 128KB提升随机 IO。创建时指定mdadm --create /dev/md0 --level10 --chunk128 --raid-devices4 /dev/sd[b-e]stripe cache可以通过/sys/block/md0/md/stripe_cache_size调整默认值偏小大并发下可以调大echo 8192 /sys/block/md0/md/stripe_cache_size调优后一定要用fio验证别凭感觉。6. 常见问题与排查技巧实录6.1 RAID 阵列降级与重建失败排查阵列降级Dgrd是最常见的问题。先看是哪块盘故障storcli /c0/eall/sall show | grep -i bad如果是硬件 RAID换盘后自动重建如果重建失败检查新盘是否兼容、固件版本是否一致。软 RAID 下mdadm --detail会显示具体哪块盘 faulty换盘后--add即可。重建失败常见原因新盘有旧 RAID 元数据、盘本身有坏道、RAID 卡固件 bug。清元数据mdadm --zero-superblock /dev/sdb硬件 RAID 下可以用storcli把盘设为 UGood 再重建。6.2 磁盘性能不达预期的排查思路性能不达标先分层排查硬件层、RAID 层、文件系统层、应用层。硬件层看磁盘是否故障、RAID 卡缓存策略是否合理RAID 层看条带大小、重建是否在进行文件系统层看挂载参数比如noatime、barrier应用层看 IO 模式是顺序还是随机。用iostat -x 1看磁盘利用率%util和 await用fio做基准测试fio --namerandread --ioenginelibaio --rwrandread --bs4k --numjobs4 --size1G --runtime60 --group_reporting对比不同 RAID 级别和参数下的结果才能定位瓶颈。6.3 常见问题速查表问题现象可能原因排查命令解决方向阵列降级磁盘故障storcli /c0/vall show换盘重建重建慢重建速率限制storcli /c0 show rebuildrate调整速率写性能差缓存策略storcli /c0/v0 show all改 WriteBack软 RAID 不同步元数据问题mdadm --detail清元数据重建磁盘利用率 100%IO 瓶颈iostat -x 1加盘或换 SSD提示任何 RAID 操作前备份永远是第一位的。RAID 不是备份它只解决磁盘故障不解决误删、病毒、逻辑损坏。7. 个人实操体会与后续扩展我在实际交付中最大的体会是RAID 配置没有银弹只有权衡。RAID 10 性能好但容量利用率低RAID 5 容量高但写性能差、重建风险大。选型时一定要结合业务 IO 模式、数据重要性和预算。另外硬件 RAID 卡的管理工具一定要提前装好、摸熟别等盘坏了才临时找命令。软 RAID 虽然灵活但监控和告警要自己搭不然故障了都不知道。后续如果业务规模继续扩大可以考虑从传统 RAID 迁移到分布式存储比如用多台服务器做副本或纠删码可靠性和扩展性都更好。但在中小规模场景下把 RAID 配好、监控做好已经能覆盖绝大多数需求了。最后再分享一个小技巧定期用smartctl检查磁盘健康状态提前发现潜在坏道比等 RAID 降级再处理要从容得多。
1. 服务器硬件选型与 RAID 配置的底层逻辑很多刚接触服务器运维的朋友拿到一台物理机之后第一反应就是插电、装系统、跑服务结果业务一上量就发现磁盘 IO 成为瓶颈或者一块盘坏了整个阵列直接崩掉。这类问题的根源往往不在软件层而是在最初那一步——硬件选型和 RAID 配置就没打牢。我自己在早期做机房交付的时候就吃过这个亏一台二手服务器四块盘草草做了 RAID 0跑数据库不到三个月一块盘出现坏道数据全丢只能从备份恢复整整折腾了一个通宵。从那以后我对服务器硬件和 RAID 的理解才算真正入门。这篇文章想聊的就是 Linux 服务器从硬件层面到 RAID 阵列的完整落地过程。核心关键词包括服务器硬件选型、RAID 级别选择、磁盘阵列配置、Linux 软 RAID、硬件 RAID 卡管理、磁盘性能调优。内容会覆盖从 CPU、内存、磁盘、RAID 卡的基础认知到实际在 Linux 下用mdadm做软 RAID、用storcli或MegaCli管理硬件 RAID 的完整实操。适合谁看如果你是刚入行的运维、正在搭建自建机房或私有云的技术人员或者想搞清楚 RAID 到底该怎么选、怎么配、怎么排障的开发者这篇内容应该能帮你少走不少弯路。我尽量不写成教科书而是按照一个实际交付项目的思路来展开先讲清楚为什么这么选再讲怎么配最后讲踩过的坑怎么填。你完全可以拿着这篇文章当操作手册对着自己的机器一步步来。2. 服务器硬件核心组件与选型思路2.1 CPU 与内存别让算力和缓存成为短板服务器硬件选型的第一步永远是搞清楚业务类型。是计算密集型、IO 密集型还是内存密集型这直接决定了 CPU 和内存的配比。我见过不少项目磁盘阵列配得漂漂亮亮结果 CPU 核心数不够数据库连接一多就排队RAID 再快也没用。CPU 这块核心数和主频要平衡。以常见的数据库场景为例MySQL 这类服务对单核主频比较敏感核心数太多但主频低反而可能不如少核心高主频。而像视频转码、批量计算这类场景核心数就是硬通货。我的经验是数据库和缓存类服务优先高主频计算和并发类服务优先多核心。另外要注意 NUMA 架构双路 CPU 的服务器内存要均匀插在两个 CPU 对应的插槽上否则跨 NUMA 访问内存延迟会明显上升。可以用lscpu和numactl --hardware查看 NUMA 拓扑。内存方面ECC 内存是服务器的底线别用普通台式机内存凑合。ECC 能检测并纠正单比特错误长时间运行的服务内存出错的概率比你想的高。容量上数据库场景建议内存至少能装下热数据缓存命中率上去了磁盘压力自然就小了。我一般会留 20% 到 30% 的余量给操作系统和突发流量。2.2 磁盘与 RAID 卡决定 IO 上限的关键磁盘是服务器里最容易成为瓶颈的部件。机械盘HDD便宜、容量大但随机 IO 差固态盘SSD随机 IO 强但每 GB 成本高。实际项目里我通常会用 SSD 做系统盘和热数据盘HDD 做冷数据和大容量存储两者结合性价比最高。RAID 卡是硬件 RAID 的核心。它有自己的处理器和缓存能卸载 CPU 的 RAID 计算压力还支持掉电保护BBU 或超级电容。带缓存的 RAID 卡写性能提升非常明显因为写操作先落到缓存就返回后续再刷盘。选购时注意几点缓存大小512MB 起步1GB 以上更好、是否支持 BBU、支持的 RAID 级别、接口类型SAS/SATA/NVMe。常见的品牌有 LSI/Broadcom 系列管理工具一般是storcli或MegaCli。提示RAID 卡缓存如果没有电池或超级电容保护遇到突然断电缓存里没刷盘的数据会丢。生产环境务必确认 BBU 或电容状态正常。2.3 电源、网卡与散热容易被忽视的稳定性因素电源要做冗余11 或 22 都行关键是别单电源。我遇到过机房一路电跳闸单电源服务器直接宕机的情况。双电源分别接不同的 PDU才能扛住单路故障。网卡方面千兆是底线现在万兆越来越普遍。做存储或高并发服务万兆网卡能明显降低网络延迟。如果做 bonding记得在交换机侧配好 LACP否则链路聚合不生效。散热也别忽视服务器风扇策略一般在 BIOS 里调默认可能是节能模式高负载下 CPU 会降频改成性能模式能稳住频率但噪音和功耗会上去这个要权衡。3. RAID 级别详解与选型决策3.1 常见 RAID 级别的原理与适用场景RAID 不是越高越好而是要看业务需求。下面这张表是我自己总结的常用 RAID 级别对比基本覆盖了日常选型RAID 级别最少磁盘数冗余能力可用容量读性能写性能典型场景RAID 02无100%高高临时数据、缓存RAID 12允许坏1块50%高中系统盘、小容量高可靠RAID 53允许坏1块(N-1)/N高中低读多写少、文件存储RAID 64允许坏2块(N-2)/N高低大容量冷存储RAID 104允许坏多块50%高高数据库、高并发RAID 0 是条带化没有冗余一块盘坏全盘数据丢失只适合对性能要求极高且数据可再生的场景。RAID 1 是镜像两块盘互为备份可靠性高但容量利用率只有一半适合系统盘。RAID 5 是带分布式校验的条带允许坏一块盘容量利用率高但写操作需要计算校验写性能一般而且重建时风险较高。RAID 6 双校验允许坏两块盘适合大容量阵列但写性能更差。RAID 10 是先镜像再条带兼顾性能与可靠性是数据库场景的首选。3.2 硬件 RAID 与软件 RAID 的取舍硬件 RAID 靠 RAID 卡完成对操作系统透明性能好不占 CPU但成本高卡坏了要换同型号或兼容型号才能导入阵列。软件 RAID 靠操作系统实现Linux 下就是mdadm成本低灵活但占 CPU 资源性能略逊。我的建议是生产环境、对性能和可靠性要求高的优先硬件 RAID测试环境、预算有限、或者用 NVMe 盘做 RAID 的可以考虑软件 RAID。NVMe 盘做硬件 RAID 成本很高用mdadm做软 RAID 反而更灵活。另外现在很多场景用分布式存储替代了传统 RAID比如 Ceph那是另一个话题了。3.3 热备盘与重建策略别等盘坏了才想热备盘Hot Spare是 RAID 阵列里的备用盘一旦有成员盘故障热备盘自动顶上去开始重建。全局热备盘可以被任意阵列使用专用热备盘只服务指定阵列。生产环境我一般会配一块全局热备盘尤其是 RAID 5 和 RAID 6 这种重建压力大的阵列。重建策略也很关键。重建时磁盘 IO 压力大如果业务本身 IO 就高重建可能拖垮性能甚至导致第二块盘也坏掉。可以在 RAID 卡里设置重建速率比如限制在 30% 到 50%牺牲一点重建时间换取业务稳定。这个参数在storcli里可以调后面实操部分会讲。4. Linux 下硬件 RAID 配置实战4.1 用 storcli 查看与管理 RAID 卡假设你拿到一台带 LSI/Broadcom RAID 卡的服务器第一步是确认卡的状态。storcli是常用的管理工具安装后先看控制器列表# 查看控制器信息 storcli /c0 show # 查看物理磁盘列表 storcli /c0/eall/sall show # 查看虚拟磁盘阵列列表 storcli /c0/vall show/c0表示第一块控制器eall表示所有 Enclosuresall表示所有 Slot。输出里重点关注磁盘状态UGood 表示正常UBad 表示故障、阵列状态Optl 表示最优Dgrd 表示降级。创建 RAID 5 阵列假设用 0 到 3 号槽的四块盘其中三块做 RAID 5一块做热备# 创建 RAID 5指定磁盘 storcli /c0 add vd typeraid5 drives252:0-2 # 添加全局热备盘 storcli /c0/e252/s3 add hotsparedrive这里的252是 Enclosure ID实际环境要用storcli /c0/eall/sall show查到的真实 ID。创建完成后用storcli /c0/vall show确认阵列状态是 Optl。注意创建阵列会清空磁盘数据操作前务必确认磁盘上没有有用数据或者已经备份。4.2 调整重建速率与缓存策略重建速率直接影响业务稳定性。查看当前设置storcli /c0 show rebuildrate设置重建速率为 30%storcli /c0 set rebuildrate30缓存策略方面写策略一般有 WriteBack 和 WriteThrough。WriteBack 性能好但依赖 BBUWriteThrough 直接写盘性能差但安全。有 BBU 的情况下用 WriteBack没有就老老实实 WriteThrough。查看和设置# 查看当前策略 storcli /c0/v0 show all | grep -i cache # 设置写策略为 WriteBack storcli /c0/v0 set wrcacheWB读策略一般用 ReadAhead预读能提升顺序读性能。这些参数调整后最好用fio做个基准测试确认性能符合预期。4.3 阵列扩容与磁盘替换业务增长后可能需要给阵列扩容。硬件 RAID 支持在线扩容OCEOnline Capacity Expansion但操作有风险务必先备份。步骤大致是加新盘、扩容阵列、扩展文件系统。以storcli为例# 向现有阵列添加磁盘 storcli /c0/v0 start migrate typeraid5 add drives252:4 # 查看迁移进度 storcli /c0/v0 show migrate迁移完成后用parted或growpart扩展分区再用resize2fs或xfs_growfs扩展文件系统。整个过程 IO 压力大建议在业务低峰期做。磁盘替换更常见。一块盘故障后拔掉坏盘插入新盘如果是热备盘会自动重建如果没有热备需要手动把新盘加入阵列# 手动重建 storcli /c0/e252/s0 insert dg0 array0 row0重建期间密切关注进度和业务性能必要时降低重建速率。5. Linux 软件 RAID 配置实战5.1 mdadm 基础操作与阵列创建没有硬件 RAID 卡或者想用 NVMe 盘做 RAIDmdadm就是主力工具。先安装# Debian/Ubuntu apt install mdadm # RHEL/CentOS yum install mdadm假设有四块盘/dev/sdb到/dev/sde做 RAID 10# 创建 RAID 10 mdadm --create /dev/md0 --level10 --raid-devices4 /dev/sd[b-e] # 查看阵列状态 cat /proc/mdstat mdadm --detail /dev/md0/proc/mdstat能看到重建进度和阵列状态。创建完成后保存配置否则重启后阵列可能起不来mdadm --detail --scan /etc/mdadm/mdadm.conf update-initramfs -u5.2 软 RAID 的监控与故障处理软 RAID 的监控靠mdadm --monitor和邮件告警。可以配一个 systemd 服务或者 cron定期检查/proc/mdstat。故障处理方面一块盘坏了mdadm --detail会显示 faulty。移除坏盘mdadm /dev/md0 --fail /dev/sdb --remove /dev/sdb插入新盘后添加mdadm /dev/md0 --add /dev/sdb重建会自动开始。软 RAID 重建占 CPU业务高峰期要留意负载。5.3 软 RAID 的性能调优软 RAID 的性能受chunk size和stripe cache影响。chunk size是条带大小默认 512KB数据库场景可以调小到 64KB 或 128KB提升随机 IO。创建时指定mdadm --create /dev/md0 --level10 --chunk128 --raid-devices4 /dev/sd[b-e]stripe cache可以通过/sys/block/md0/md/stripe_cache_size调整默认值偏小大并发下可以调大echo 8192 /sys/block/md0/md/stripe_cache_size调优后一定要用fio验证别凭感觉。6. 常见问题与排查技巧实录6.1 RAID 阵列降级与重建失败排查阵列降级Dgrd是最常见的问题。先看是哪块盘故障storcli /c0/eall/sall show | grep -i bad如果是硬件 RAID换盘后自动重建如果重建失败检查新盘是否兼容、固件版本是否一致。软 RAID 下mdadm --detail会显示具体哪块盘 faulty换盘后--add即可。重建失败常见原因新盘有旧 RAID 元数据、盘本身有坏道、RAID 卡固件 bug。清元数据mdadm --zero-superblock /dev/sdb硬件 RAID 下可以用storcli把盘设为 UGood 再重建。6.2 磁盘性能不达预期的排查思路性能不达标先分层排查硬件层、RAID 层、文件系统层、应用层。硬件层看磁盘是否故障、RAID 卡缓存策略是否合理RAID 层看条带大小、重建是否在进行文件系统层看挂载参数比如noatime、barrier应用层看 IO 模式是顺序还是随机。用iostat -x 1看磁盘利用率%util和 await用fio做基准测试fio --namerandread --ioenginelibaio --rwrandread --bs4k --numjobs4 --size1G --runtime60 --group_reporting对比不同 RAID 级别和参数下的结果才能定位瓶颈。6.3 常见问题速查表问题现象可能原因排查命令解决方向阵列降级磁盘故障storcli /c0/vall show换盘重建重建慢重建速率限制storcli /c0 show rebuildrate调整速率写性能差缓存策略storcli /c0/v0 show all改 WriteBack软 RAID 不同步元数据问题mdadm --detail清元数据重建磁盘利用率 100%IO 瓶颈iostat -x 1加盘或换 SSD提示任何 RAID 操作前备份永远是第一位的。RAID 不是备份它只解决磁盘故障不解决误删、病毒、逻辑损坏。7. 个人实操体会与后续扩展我在实际交付中最大的体会是RAID 配置没有银弹只有权衡。RAID 10 性能好但容量利用率低RAID 5 容量高但写性能差、重建风险大。选型时一定要结合业务 IO 模式、数据重要性和预算。另外硬件 RAID 卡的管理工具一定要提前装好、摸熟别等盘坏了才临时找命令。软 RAID 虽然灵活但监控和告警要自己搭不然故障了都不知道。后续如果业务规模继续扩大可以考虑从传统 RAID 迁移到分布式存储比如用多台服务器做副本或纠删码可靠性和扩展性都更好。但在中小规模场景下把 RAID 配好、监控做好已经能覆盖绝大多数需求了。最后再分享一个小技巧定期用smartctl检查磁盘健康状态提前发现潜在坏道比等 RAID 降级再处理要从容得多。
