一块盘坏了数据还在吗DAS/NAS/SAN 组网与 RAID 冗余深度拆解数据是用户最重要的资产而硬盘是会坏的——存储技术的全部意义就是让「盘坏」不等于「数据丢」。本文从存储架构演进讲起对比 DAS / NAS / SAN 三种组网拆透 RAID 的条带、镜像、校验三大技术再讲华为 RAID 2.0 块虚拟化与 SCSI 系存储协议一篇把企业级存储的骨架搭起来。本文概要项目内容文章主题沿「组网 → 冗余 → 协议」三条主线讲透企业级存储三种组网怎么选、RAID 怎么保数据、协议栈怎么演进所属类别云计算入门 → 基础硬件 → 存储技术知识关键字DAS·NAS·FC-SAN·IP-SAN·iSCSI·RAID·热备·重构·RAID 2.0·FCoE·IOPS·LUN主线导读先看存储是什么、架构如何从单盘演进到云存储再认识硬盘类型与指标然后是三种组网的形态对比、集中式与分布式之争后半篇聚焦 RAID 技术主线与存储协议演进。一、什么是存储目标只有六个字存储是指在计算机或其他电子设备上存储和管理数字信息的过程既包括硬盘、固态硬盘等物理设备也包括云存储服务等虚拟存储系统。目标可以概括成六个字可靠、安全、按需——需要时存得进去、取得出来坏了也丢不了。二、架构演进从一块盘到一朵云存储架构走过了一条清晰的演进路从硬盘到磁盘阵列单盘容量与可靠性都不够多盘组合成阵列RAID登场。从分离到融合计算与存储从各自独立走向融合架构。存储虚拟化把存储设备抽象成逻辑资源统一呈现在不同形态与设备类型之间提供统一功能。分布式存储通过软件把物理资源组织成高性能逻辑存储池数据分散存放在多台独立设备上用多台服务器分担负荷用位置服务器定位信息可靠性与可扩展性兼得。云存储多存储设备、多应用、多服务协同的集合体用高度虚拟化的多租户基础设施提供可动态配置的块、文件、对象三种存储服务。课件把它划成五个阶段其中两个中间形态常被跳过考试反而爱问阶段形态关键点传统存储单块硬盘1956 年 IBM 造出世界第一块机械硬盘50 片 24 英寸盘片、容量仅5MB、体积抵两台冰箱、重超一吨外挂存储直连存储DAS最早形态是JBODJust a Bunch Of Disks磁盘簇——只是把几块盘串在一起主机看到的是一堆独立硬盘只增加容量不提供任何安全保障存储网络SAN典型是 FC-SAN主要用 FC 网络传数据随后出现 IP-SAN分布式存储通用服务器组池用通用硬件构建存储资源池更适合云计算场景云存储多租户服务化对外提供块、文件、对象三种服务还有一次「回摆」值得记2011 年左右同时支持 SAN 与 NAS 的统一存储迅速成为热点——把 NAS 和 SAN 结合起来同时提供数据库与文件共享服务既整合降本又简化管理与提升利用率。⚠️注意JBOD 与 RAID 的区别就在「有没有冗余」这一条。JBOD 只是容量叠加任何一块盘坏了那块盘的数据就没了RAID 才是靠校验或镜像换可靠性。所以「先用 JBOD 凑容量以后再说」在工程上等于不设防。三、硬盘类型与关键指标企业级硬盘的四种主流类型机械部分对比对比项SATASASNL-SASSSD主流转速RPM7,20015,000/10,0007,200无机械转速主流容量TB1/2/30.6/0.92/3/40.6/0.8/1.2/1.6MTBF小时1,200,0001,600,0001,200,0002,000,000年故障率约 2%小于 2%约 2%最低衡量一块盘好不好看五个指标容量Disk Capacity、转速Rotational Speed机械盘专属、平均访问时间Average Access Time、数据传输率Data Transfer Rate、IOPSInput/Output Operations Per Second每秒输入输出次数。不同类型盘的实际性能差距巨大硬盘类型IOPS4K 随机写带宽128K 顺序读SATA330200MB/sSAS 10K350195MB/sSAS 15K450290MB/sSATA SSD3 万~6 万540MB/sSAS SSD15.5 万1000MB/sNVMe SSD30 万3500MB/s机械盘与 SSD 之间隔着两个数量级——这就是全闪存存储普及的根本原因。四、三种组网DAS / NAS / SAN存储怎么接到服务器上演化出三种经典组网DASDirect Attached Storage直连附加存储70 年代的产物最早也最简单服务器与存储之间用 SAS、FC、SCSI 直连速率 3/6/12Gbit/s。块级传输、一对一独享短板是难共享、扩展性差。NASNetwork Attached Storage网络附加存储90 年代初随网络共享需求而生把分布、独立的数据整合集中管理。文件系统在后端存储设备上通过 CIFSWindows或 NFS类 Unix协议共享给前端主机多台服务器可对同一目录并发读写。文件级访问短板是性能较低。NAS 内部怎么把「远端文件」伪装成「本地文件」靠的是RPC远程过程调用NFS 采用 RPC 机制RPC 提供了一组与机器、操作系统、低层传输协议全都无关的远程文件存取操作客户端因此能以访问本地文件系统的方式访问网络上的文件。NFS 三个版本的差别也常考版本发布传输现状NFSv2RFC 1094UDP数据访问与传输能力有限已过时NFSv31995RFC 1813增加TCP选项被广泛使用NFSv42003RFC 3530TCP性能与安全性更好NAS 另有两个实用特点能同时支持多种协议NFS、CIFS 等与各种操作系统管理也简单——用浏览器就能管不必装专用客户端。SANStorage Area Networks存储区域网络用专用高速网络把存储设备与服务器连接起来存储空间划分为多个 LUN 供前端使用。它有两个分支FC-SAN90 年代中后期出现用 FC 光纤与专用 FC 交换机速率 2/4/8Gbit/s高性能高扩展但昂贵且配置复杂。IP-SAN2001 年出现用以太网承载速率 1/10Gbit/s。被看好的原因是能复用成熟的 IP 网络工具与基建大幅节省建设与管理成本。一张表收拢三种组网的差异对比项DASNASFC-SANIP-SAN传输类型SCSI、FC、SASIPFCIP数据类型块级文件级块级块级典型应用任意文件服务器数据库应用视频监控优点易理解、兼容性好易安装、成本低高扩展、高性能、高可用高扩展、成本低缺点难管理、扩展性有限性能较低昂贵、配置复杂性能较低五、集中式 vs 分布式存储集中式存储把整个存储集中在一套系统中——注意不是一台设备可能是占几个机柜的多设备套系统。按技术架构分为 SAN 与 NAS其中 SAN 再细分为 FC-SAN 与 IP-SAN。最大特点是部署结构简单不用考虑多节点部署也不用操心分布式协作问题。分布式存储把数据分散存储在多台独立服务器上采用可扩展的系统结构利用多台服务器分担存储负荷可靠性、可用性与存取效率同时提升还易于扩展。随着技术成熟金融系统数据库这类高性能场景也开始使用分布式存储。选择口径小规模求简用集中式大规模求扩展与弹性用分布式。5.1 块 / 文件 / 对象三种形态一次分清不管集中式还是分布式对外提供的都跑不出这三种形态。课件给了一张对照这张表几乎每年都考形态数据怎么组织常用协议优势短板典型场景块存储直接访问存储层给的是裸块iSCSI / FC开销最小、效率最高、速度最快成本最高、扩展困难、很难跨网络传输企业数据库Oracle 等文件存储在块之上建文件系统按「目录-目录-文件」组织NFS / CIFS容易管理绝大多数应用本来就是操作文件好对接受目录树限制一般最多扩到几十 PB企业内部应用整合、文件共享对象存储在块之上建扁平的对象管理层RESTfulS3 风格扁平结构、扩展限制少容量近乎无限不适合低延迟随机改写海量图片、备份归档一句话记牢三者关系块是最底层的原料文件是给原料装了目录树对象是给原料装了扁平索引。所以越往下越快、越往上越好管。对象存储的定位可以单独记一句它综合了 NAS 和 SAN 的优点——既有 SAN 的高速直接访问又有 NAS 的数据共享还额外提供高可靠性、跨平台性与安全的数据共享能力。六、RAID冗余的三大技术主线RAIDRedundant Array of Independent Disks独立硬盘冗余阵列把多个物理硬盘以不同方式组合成一个逻辑硬盘同时提升读写性能与数据安全。组合方式不同就有了不同级别。先认识三大关键技术条带化Striping把硬盘空间按设定大小分成多个条带strip数据按条带切块并行写到多块盘。分条stripe指多块盘上相同位置的条带集合。并行读写让吞吐成倍提升。镜像Mirroring在另一块冗余硬盘上保存数据副本可靠但利用率只有一半。奇偶校验XOR相同为假、相异为真——0⊕00、0⊕11、1⊕01、1⊕10。把一块盘的容量换成校验信息任意一块数据盘损坏后可以用校验位反推恢复。常见级别一张图看懂数据怎么摆级别数据组织冗余能力空间利用率RAID 0条带化无校验无100%RAID 1镜像无校验允许坏 1 块50%RAID 5条带化校验分布式存放允许坏 1 块(n-1)/nRAID 6条带化两级分布式校验允许坏 2 块(n-2)/nRAID 3条带化读写校验存专用盘允许坏 1 块(n-1)/n不同方式还能组合出新级别RAID 01先做 0 后做 1同时提供条带化与镜像RAID 10先做 1 后做 0RAID 50先做 5 后做 0能有效提高 RAID 5 的性能。热备与重构当冗余 RAID 组中某块盘失效备用盘在不干扰系统正常运行的情况下自动顶替这叫热备Hot Spare分全局式为所有冗余 RAID 组共享与专用式只为某一组服务。备用盘接管后系统按校验算法把丢失数据重新算出并写入这个过程叫重构。RAID 6 的 DP 双校验在横向 XOR 校验盘P之外再加一块斜向校验盘DPDouble Parity。横向校验如P0 D0⊕D1⊕D2⊕D3斜向校验如DP0 D0⊕D5⊕D10⊕D15。两套校验正交坏两块盘也能恢复——机械盘容量越做越大、重构窗口越来越长RAID 6 就是给「重构期间再坏一块」买的保险。两个必须记住的边界条件讲师稿反复强调考判断题最爱在这里设坑校验的代价是性能冗余数据通常用海明码、异或这类算法算出来校验确实能大幅提高可靠性、性能与容错能力但校验需要从多处读取数据再计算比对会拖累系统性能——这就是 RAID 5/6「写惩罚」的根源。RAID 不能替代备份。它对非磁盘故障造成的数据丢失完全无能为力病毒、人为破坏、意外删除。这类情况下相对操作系统、文件系统、卷管理器或应用来说数据已经丢了而 RAID 视角里数据完好无损——RAID 保护的是「盘坏了」不是「内容被删了」。所以备份、容灾与 RAID 是三个层次的事必须并存。七、华为 RAID 2.0把「绑盘」改成「切块」传统 RAID 有个与生俱来的矛盾LUN 与物理盘静态绑定盘越做越大重构一块盘的时间越来越长重构窗口里再坏一块盘就可能彻底丢数据。华为的解法是RAID 2.0 块虚拟化在 RAID 2.0 的基础上提供更细粒度可达几十 KB的资源颗粒作为存储资源的标准分配与回收单位——类比计算虚拟化中的虚拟机称为虚拟块。所有 LUN 的数据被打散后均匀分布在每块盘上热点不再集中在某几块 SSD 盘负载均衡与快速重构一次解决。架构上是两层虚拟化管理底层块级虚拟化Virtual for Disk管理硬盘上层虚拟化Virtual for Pool管理资源池中间再配合一系列 Smart 效率提升软件。四个颗粒度名词和默认值要能对上这是这块唯一的硬记忆点名词全称 / 含义默认大小CKChunk存储块——把硬盘划成固定大小的连续空间通常4MBCKGChunk Group由池内不同硬盘的 CK 按「RAID 策略」组成由策略决定GrainCKG 再切出的更细粒度单元LUN 的映射单位通常8KBLUN对外呈现的逻辑单元由 Grain 映射拼成用户设定所以数据落到盘上的路径是硬盘 → CK4MB→ CKG → Grain8KB→ LUN。一条链下来同一个 LUN 的数据必然散落在池内所有盘上。这样做换来两件事负载均衡、避免热点数据打散到资源池内所有硬盘没有热点硬盘负荷平均避免个别盘因承担更多写操作而提前到寿命上限快速重构、缩小风险窗口故障盘上的有效数据会被重构到池内除故障盘外的所有盘上实现多对多重构速度快大幅缩短数据处于非冗余状态的时间——而且全盘参与重构。八、存储协议从并行 SCSI 到 FCoE协议是块存储落地的「语言」演进链路如下SCSISmall Computer System Interface小型计算机系统接口最初为小型机研制用并行总线连接主机与外部设备通过 SCSI ID 与 LUN 寻址采用客户端/服务器模型——主机发 I/O 请求存储解释执行。iSCSIInternet SCSI把 SCSI 命令和块状数据封装在 TCP 中在 IP 网络里传输基本出发点是利用成熟的 IP 网络技术来实现和延伸 SAN。两端角色分工明确发起端InitiatorSCSI 层生成 CDB命令描述符块交给 iSCSI 层iSCSI 层封装成 PDU协议数据单元经 IP 网络发出。目标端Target收到 PDU 后还原出 CDB 交给 SCSI 层解释必要时回送响应。以 Linux 主机连接 iSCSI 存储为例两步即可建立块设备连接# 第一步发现。 -m discovery 用发现模式-t sendtargets 用 ST 协议探询目标-p 指向目标端地址与端口iscsiadm-mdiscovery-tsendtargets-p10.1.8.102:3260# 第二步登录。 -m node 用节点模式-T 指定目标端 IQN 名称--login 建立会话连接iscsiadm-mnode-Tiqn.2016-04.com.example:storage01-p10.1.8.102:3260--login讲师稿补了两处选型细节Initiator 有三种性能递增软件 Initiator 驱动最差→TOE 卡TCP Offload EngineTCP 卸载引擎居中→iSCSI HBA 卡最佳。差别在于谁来扛 TCP/IP 处理前两者靠主机 CPUHBA 卡交给硬件。Target 通常是设备本身iSCSI 磁盘阵列、iSCSI 磁带库等。协议为两端定义了统一的命名与寻址方法靠 IQN 定位目标——所以iscsiadm的-T后面填的就是目标端 IQN。 补一条历史iSCSI 方案最早由Cisco 与 IBM发起Adaptec、Cisco、HP、IBM、Quantum 等公司共同倡导2001 年推出标准草案2002 年提交 IETF2003 年 2 月标准正式发布。iFCPInternet Fibre Channel Protocol网关到网关协议为 TCP/IP 网络中的光纤通道设备提供 FC 通信服务实现端到端 IP 连接。协议栈位于 FC 与 TCP/IP 之间两边都能交互——适合「两边都是 FC 站点、中间隔着 IP 网络」的互联场景。FCoEFibre Channel over Ethernet以太网光纤通道把 FC 帧封装进以太网帧FC-2 及以上层内容原样承载允许 LAN 与 SAN 业务流量在同一个以太网中传送。数据中心因此可以少买设备、少布线缆降低供电制冷与管理负担——适合「统一以太网」的数据中心。最后一个常见问题FC-SAN 与 IP-SAN 谁替代谁现状是长期并存、互为补充——FC 技术与以太网技术都在发展选哪条路线取决于现有网络基础与管理成本。附术语英文全称速查表术语英文全称含义DASDirect Attached Storage直连附加存储NASNetwork Attached Storage网络附加存储SANStorage Area Networks存储区域网络FCFiber Channel光纤通道FCoEFiber Channel over Ethernet以太网光纤通道iFCPInternet Fibre Channel ProtocolInternet 光纤信道协议iSCSIInternet Small Computer System InterfaceInternet 小型计算机系统接口SCSISmall Computer System Interface小型计算机系统接口RAIDRedundant Array of Independent Disks独立磁盘冗余阵列IOPSInput/Output Per Second每秒输入输出量MTBFMean Time Between Failure平均无故障工作时间LUNLogical Unit Number逻辑单元号 参考资料官方文档 · 已验证可达英文原版RFC 3720iSCSI 协议官方标准RFC 4172iFCP 协议官方标准中文版华为 OceanStor 数据存储产品与解决方案总结存储的三大主线互相咬合——组网上DAS 直连、NAS 管文件、SAN 管块冗余上条带提性能镜像与 XOR 校验保可靠组合出 RAID 0/1/5/6/10 各级别华为 RAID 2.0 再用细粒度虚拟块解决重构窗口问题协议上SCSI 走向 iSCSI 借 IP 网络延伸iFCP 与 FCoE 让 FC 与以太网融合。三条线捋顺企业级存储的骨架就立住了。同系列 · 云计算基础其余篇目见博客主页blog.csdn.net/nbsxl上一篇《服务器和普通电脑差在哪硬件九件套与 BMC/BIOS 管理面全解析》系列首篇《服务器买了一台又一台虚拟化到云计算的演进一次讲清》 你所在的环境用的是 FC-SAN 还是 IP-SAN迁移或扩容时踩过什么坑评论区聊聊场景。
一块盘坏了数据还在吗DAS/NAS/SAN 组网与 RAID 冗余深度拆解数据是用户最重要的资产而硬盘是会坏的——存储技术的全部意义就是让「盘坏」不等于「数据丢」。本文从存储架构演进讲起对比 DAS / NAS / SAN 三种组网拆透 RAID 的条带、镜像、校验三大技术再讲华为 RAID 2.0 块虚拟化与 SCSI 系存储协议一篇把企业级存储的骨架搭起来。本文概要项目内容文章主题沿「组网 → 冗余 → 协议」三条主线讲透企业级存储三种组网怎么选、RAID 怎么保数据、协议栈怎么演进所属类别云计算入门 → 基础硬件 → 存储技术知识关键字DAS·NAS·FC-SAN·IP-SAN·iSCSI·RAID·热备·重构·RAID 2.0·FCoE·IOPS·LUN主线导读先看存储是什么、架构如何从单盘演进到云存储再认识硬盘类型与指标然后是三种组网的形态对比、集中式与分布式之争后半篇聚焦 RAID 技术主线与存储协议演进。一、什么是存储目标只有六个字存储是指在计算机或其他电子设备上存储和管理数字信息的过程既包括硬盘、固态硬盘等物理设备也包括云存储服务等虚拟存储系统。目标可以概括成六个字可靠、安全、按需——需要时存得进去、取得出来坏了也丢不了。二、架构演进从一块盘到一朵云存储架构走过了一条清晰的演进路从硬盘到磁盘阵列单盘容量与可靠性都不够多盘组合成阵列RAID登场。从分离到融合计算与存储从各自独立走向融合架构。存储虚拟化把存储设备抽象成逻辑资源统一呈现在不同形态与设备类型之间提供统一功能。分布式存储通过软件把物理资源组织成高性能逻辑存储池数据分散存放在多台独立设备上用多台服务器分担负荷用位置服务器定位信息可靠性与可扩展性兼得。云存储多存储设备、多应用、多服务协同的集合体用高度虚拟化的多租户基础设施提供可动态配置的块、文件、对象三种存储服务。课件把它划成五个阶段其中两个中间形态常被跳过考试反而爱问阶段形态关键点传统存储单块硬盘1956 年 IBM 造出世界第一块机械硬盘50 片 24 英寸盘片、容量仅5MB、体积抵两台冰箱、重超一吨外挂存储直连存储DAS最早形态是JBODJust a Bunch Of Disks磁盘簇——只是把几块盘串在一起主机看到的是一堆独立硬盘只增加容量不提供任何安全保障存储网络SAN典型是 FC-SAN主要用 FC 网络传数据随后出现 IP-SAN分布式存储通用服务器组池用通用硬件构建存储资源池更适合云计算场景云存储多租户服务化对外提供块、文件、对象三种服务还有一次「回摆」值得记2011 年左右同时支持 SAN 与 NAS 的统一存储迅速成为热点——把 NAS 和 SAN 结合起来同时提供数据库与文件共享服务既整合降本又简化管理与提升利用率。⚠️注意JBOD 与 RAID 的区别就在「有没有冗余」这一条。JBOD 只是容量叠加任何一块盘坏了那块盘的数据就没了RAID 才是靠校验或镜像换可靠性。所以「先用 JBOD 凑容量以后再说」在工程上等于不设防。三、硬盘类型与关键指标企业级硬盘的四种主流类型机械部分对比对比项SATASASNL-SASSSD主流转速RPM7,20015,000/10,0007,200无机械转速主流容量TB1/2/30.6/0.92/3/40.6/0.8/1.2/1.6MTBF小时1,200,0001,600,0001,200,0002,000,000年故障率约 2%小于 2%约 2%最低衡量一块盘好不好看五个指标容量Disk Capacity、转速Rotational Speed机械盘专属、平均访问时间Average Access Time、数据传输率Data Transfer Rate、IOPSInput/Output Operations Per Second每秒输入输出次数。不同类型盘的实际性能差距巨大硬盘类型IOPS4K 随机写带宽128K 顺序读SATA330200MB/sSAS 10K350195MB/sSAS 15K450290MB/sSATA SSD3 万~6 万540MB/sSAS SSD15.5 万1000MB/sNVMe SSD30 万3500MB/s机械盘与 SSD 之间隔着两个数量级——这就是全闪存存储普及的根本原因。四、三种组网DAS / NAS / SAN存储怎么接到服务器上演化出三种经典组网DASDirect Attached Storage直连附加存储70 年代的产物最早也最简单服务器与存储之间用 SAS、FC、SCSI 直连速率 3/6/12Gbit/s。块级传输、一对一独享短板是难共享、扩展性差。NASNetwork Attached Storage网络附加存储90 年代初随网络共享需求而生把分布、独立的数据整合集中管理。文件系统在后端存储设备上通过 CIFSWindows或 NFS类 Unix协议共享给前端主机多台服务器可对同一目录并发读写。文件级访问短板是性能较低。NAS 内部怎么把「远端文件」伪装成「本地文件」靠的是RPC远程过程调用NFS 采用 RPC 机制RPC 提供了一组与机器、操作系统、低层传输协议全都无关的远程文件存取操作客户端因此能以访问本地文件系统的方式访问网络上的文件。NFS 三个版本的差别也常考版本发布传输现状NFSv2RFC 1094UDP数据访问与传输能力有限已过时NFSv31995RFC 1813增加TCP选项被广泛使用NFSv42003RFC 3530TCP性能与安全性更好NAS 另有两个实用特点能同时支持多种协议NFS、CIFS 等与各种操作系统管理也简单——用浏览器就能管不必装专用客户端。SANStorage Area Networks存储区域网络用专用高速网络把存储设备与服务器连接起来存储空间划分为多个 LUN 供前端使用。它有两个分支FC-SAN90 年代中后期出现用 FC 光纤与专用 FC 交换机速率 2/4/8Gbit/s高性能高扩展但昂贵且配置复杂。IP-SAN2001 年出现用以太网承载速率 1/10Gbit/s。被看好的原因是能复用成熟的 IP 网络工具与基建大幅节省建设与管理成本。一张表收拢三种组网的差异对比项DASNASFC-SANIP-SAN传输类型SCSI、FC、SASIPFCIP数据类型块级文件级块级块级典型应用任意文件服务器数据库应用视频监控优点易理解、兼容性好易安装、成本低高扩展、高性能、高可用高扩展、成本低缺点难管理、扩展性有限性能较低昂贵、配置复杂性能较低五、集中式 vs 分布式存储集中式存储把整个存储集中在一套系统中——注意不是一台设备可能是占几个机柜的多设备套系统。按技术架构分为 SAN 与 NAS其中 SAN 再细分为 FC-SAN 与 IP-SAN。最大特点是部署结构简单不用考虑多节点部署也不用操心分布式协作问题。分布式存储把数据分散存储在多台独立服务器上采用可扩展的系统结构利用多台服务器分担存储负荷可靠性、可用性与存取效率同时提升还易于扩展。随着技术成熟金融系统数据库这类高性能场景也开始使用分布式存储。选择口径小规模求简用集中式大规模求扩展与弹性用分布式。5.1 块 / 文件 / 对象三种形态一次分清不管集中式还是分布式对外提供的都跑不出这三种形态。课件给了一张对照这张表几乎每年都考形态数据怎么组织常用协议优势短板典型场景块存储直接访问存储层给的是裸块iSCSI / FC开销最小、效率最高、速度最快成本最高、扩展困难、很难跨网络传输企业数据库Oracle 等文件存储在块之上建文件系统按「目录-目录-文件」组织NFS / CIFS容易管理绝大多数应用本来就是操作文件好对接受目录树限制一般最多扩到几十 PB企业内部应用整合、文件共享对象存储在块之上建扁平的对象管理层RESTfulS3 风格扁平结构、扩展限制少容量近乎无限不适合低延迟随机改写海量图片、备份归档一句话记牢三者关系块是最底层的原料文件是给原料装了目录树对象是给原料装了扁平索引。所以越往下越快、越往上越好管。对象存储的定位可以单独记一句它综合了 NAS 和 SAN 的优点——既有 SAN 的高速直接访问又有 NAS 的数据共享还额外提供高可靠性、跨平台性与安全的数据共享能力。六、RAID冗余的三大技术主线RAIDRedundant Array of Independent Disks独立硬盘冗余阵列把多个物理硬盘以不同方式组合成一个逻辑硬盘同时提升读写性能与数据安全。组合方式不同就有了不同级别。先认识三大关键技术条带化Striping把硬盘空间按设定大小分成多个条带strip数据按条带切块并行写到多块盘。分条stripe指多块盘上相同位置的条带集合。并行读写让吞吐成倍提升。镜像Mirroring在另一块冗余硬盘上保存数据副本可靠但利用率只有一半。奇偶校验XOR相同为假、相异为真——0⊕00、0⊕11、1⊕01、1⊕10。把一块盘的容量换成校验信息任意一块数据盘损坏后可以用校验位反推恢复。常见级别一张图看懂数据怎么摆级别数据组织冗余能力空间利用率RAID 0条带化无校验无100%RAID 1镜像无校验允许坏 1 块50%RAID 5条带化校验分布式存放允许坏 1 块(n-1)/nRAID 6条带化两级分布式校验允许坏 2 块(n-2)/nRAID 3条带化读写校验存专用盘允许坏 1 块(n-1)/n不同方式还能组合出新级别RAID 01先做 0 后做 1同时提供条带化与镜像RAID 10先做 1 后做 0RAID 50先做 5 后做 0能有效提高 RAID 5 的性能。热备与重构当冗余 RAID 组中某块盘失效备用盘在不干扰系统正常运行的情况下自动顶替这叫热备Hot Spare分全局式为所有冗余 RAID 组共享与专用式只为某一组服务。备用盘接管后系统按校验算法把丢失数据重新算出并写入这个过程叫重构。RAID 6 的 DP 双校验在横向 XOR 校验盘P之外再加一块斜向校验盘DPDouble Parity。横向校验如P0 D0⊕D1⊕D2⊕D3斜向校验如DP0 D0⊕D5⊕D10⊕D15。两套校验正交坏两块盘也能恢复——机械盘容量越做越大、重构窗口越来越长RAID 6 就是给「重构期间再坏一块」买的保险。两个必须记住的边界条件讲师稿反复强调考判断题最爱在这里设坑校验的代价是性能冗余数据通常用海明码、异或这类算法算出来校验确实能大幅提高可靠性、性能与容错能力但校验需要从多处读取数据再计算比对会拖累系统性能——这就是 RAID 5/6「写惩罚」的根源。RAID 不能替代备份。它对非磁盘故障造成的数据丢失完全无能为力病毒、人为破坏、意外删除。这类情况下相对操作系统、文件系统、卷管理器或应用来说数据已经丢了而 RAID 视角里数据完好无损——RAID 保护的是「盘坏了」不是「内容被删了」。所以备份、容灾与 RAID 是三个层次的事必须并存。七、华为 RAID 2.0把「绑盘」改成「切块」传统 RAID 有个与生俱来的矛盾LUN 与物理盘静态绑定盘越做越大重构一块盘的时间越来越长重构窗口里再坏一块盘就可能彻底丢数据。华为的解法是RAID 2.0 块虚拟化在 RAID 2.0 的基础上提供更细粒度可达几十 KB的资源颗粒作为存储资源的标准分配与回收单位——类比计算虚拟化中的虚拟机称为虚拟块。所有 LUN 的数据被打散后均匀分布在每块盘上热点不再集中在某几块 SSD 盘负载均衡与快速重构一次解决。架构上是两层虚拟化管理底层块级虚拟化Virtual for Disk管理硬盘上层虚拟化Virtual for Pool管理资源池中间再配合一系列 Smart 效率提升软件。四个颗粒度名词和默认值要能对上这是这块唯一的硬记忆点名词全称 / 含义默认大小CKChunk存储块——把硬盘划成固定大小的连续空间通常4MBCKGChunk Group由池内不同硬盘的 CK 按「RAID 策略」组成由策略决定GrainCKG 再切出的更细粒度单元LUN 的映射单位通常8KBLUN对外呈现的逻辑单元由 Grain 映射拼成用户设定所以数据落到盘上的路径是硬盘 → CK4MB→ CKG → Grain8KB→ LUN。一条链下来同一个 LUN 的数据必然散落在池内所有盘上。这样做换来两件事负载均衡、避免热点数据打散到资源池内所有硬盘没有热点硬盘负荷平均避免个别盘因承担更多写操作而提前到寿命上限快速重构、缩小风险窗口故障盘上的有效数据会被重构到池内除故障盘外的所有盘上实现多对多重构速度快大幅缩短数据处于非冗余状态的时间——而且全盘参与重构。八、存储协议从并行 SCSI 到 FCoE协议是块存储落地的「语言」演进链路如下SCSISmall Computer System Interface小型计算机系统接口最初为小型机研制用并行总线连接主机与外部设备通过 SCSI ID 与 LUN 寻址采用客户端/服务器模型——主机发 I/O 请求存储解释执行。iSCSIInternet SCSI把 SCSI 命令和块状数据封装在 TCP 中在 IP 网络里传输基本出发点是利用成熟的 IP 网络技术来实现和延伸 SAN。两端角色分工明确发起端InitiatorSCSI 层生成 CDB命令描述符块交给 iSCSI 层iSCSI 层封装成 PDU协议数据单元经 IP 网络发出。目标端Target收到 PDU 后还原出 CDB 交给 SCSI 层解释必要时回送响应。以 Linux 主机连接 iSCSI 存储为例两步即可建立块设备连接# 第一步发现。 -m discovery 用发现模式-t sendtargets 用 ST 协议探询目标-p 指向目标端地址与端口iscsiadm-mdiscovery-tsendtargets-p10.1.8.102:3260# 第二步登录。 -m node 用节点模式-T 指定目标端 IQN 名称--login 建立会话连接iscsiadm-mnode-Tiqn.2016-04.com.example:storage01-p10.1.8.102:3260--login讲师稿补了两处选型细节Initiator 有三种性能递增软件 Initiator 驱动最差→TOE 卡TCP Offload EngineTCP 卸载引擎居中→iSCSI HBA 卡最佳。差别在于谁来扛 TCP/IP 处理前两者靠主机 CPUHBA 卡交给硬件。Target 通常是设备本身iSCSI 磁盘阵列、iSCSI 磁带库等。协议为两端定义了统一的命名与寻址方法靠 IQN 定位目标——所以iscsiadm的-T后面填的就是目标端 IQN。 补一条历史iSCSI 方案最早由Cisco 与 IBM发起Adaptec、Cisco、HP、IBM、Quantum 等公司共同倡导2001 年推出标准草案2002 年提交 IETF2003 年 2 月标准正式发布。iFCPInternet Fibre Channel Protocol网关到网关协议为 TCP/IP 网络中的光纤通道设备提供 FC 通信服务实现端到端 IP 连接。协议栈位于 FC 与 TCP/IP 之间两边都能交互——适合「两边都是 FC 站点、中间隔着 IP 网络」的互联场景。FCoEFibre Channel over Ethernet以太网光纤通道把 FC 帧封装进以太网帧FC-2 及以上层内容原样承载允许 LAN 与 SAN 业务流量在同一个以太网中传送。数据中心因此可以少买设备、少布线缆降低供电制冷与管理负担——适合「统一以太网」的数据中心。最后一个常见问题FC-SAN 与 IP-SAN 谁替代谁现状是长期并存、互为补充——FC 技术与以太网技术都在发展选哪条路线取决于现有网络基础与管理成本。附术语英文全称速查表术语英文全称含义DASDirect Attached Storage直连附加存储NASNetwork Attached Storage网络附加存储SANStorage Area Networks存储区域网络FCFiber Channel光纤通道FCoEFiber Channel over Ethernet以太网光纤通道iFCPInternet Fibre Channel ProtocolInternet 光纤信道协议iSCSIInternet Small Computer System InterfaceInternet 小型计算机系统接口SCSISmall Computer System Interface小型计算机系统接口RAIDRedundant Array of Independent Disks独立磁盘冗余阵列IOPSInput/Output Per Second每秒输入输出量MTBFMean Time Between Failure平均无故障工作时间LUNLogical Unit Number逻辑单元号 参考资料官方文档 · 已验证可达英文原版RFC 3720iSCSI 协议官方标准RFC 4172iFCP 协议官方标准中文版华为 OceanStor 数据存储产品与解决方案总结存储的三大主线互相咬合——组网上DAS 直连、NAS 管文件、SAN 管块冗余上条带提性能镜像与 XOR 校验保可靠组合出 RAID 0/1/5/6/10 各级别华为 RAID 2.0 再用细粒度虚拟块解决重构窗口问题协议上SCSI 走向 iSCSI 借 IP 网络延伸iFCP 与 FCoE 让 FC 与以太网融合。三条线捋顺企业级存储的骨架就立住了。同系列 · 云计算基础其余篇目见博客主页blog.csdn.net/nbsxl上一篇《服务器和普通电脑差在哪硬件九件套与 BMC/BIOS 管理面全解析》系列首篇《服务器买了一台又一台虚拟化到云计算的演进一次讲清》 你所在的环境用的是 FC-SAN 还是 IP-SAN迁移或扩容时踩过什么坑评论区聊聊场景。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
