1. Cinder概述OpenStack早期版本是使用nova-volume为云平台提供持久性块存储服务。从Folsom版本后就把作为Nova组成部分的nova-volume分离出来形成了独立的Cinder组件。Cinder本身并不直接提供块存储设备实际的管理和服务而是在虚拟机和具体的存储设备之间引入一个抽象的“逻辑存储卷”。Cinder与Neutron类似也是通过Plugins-Agent的方式添加了不同厂家的DRIVE来整合多种厂家的后端存储设备并通过提供统一API接口的方式为云平台提供持久性块设备存储服务类似于Amazon的EBSElastic Block Storage。Cinder服务的实现在OpenStack众多服务中只依赖Keystone服务提供认证。可能有些人觉得Cinder提供的Volume作为云主机的云磁盘因此Cinder与Nova也有依赖关系。其实这是一种错误的理解Cinder-Volume创建的“逻辑存储卷”不仅可以用于云主机的云磁盘也可以用于其他场景其创建卷的过程与Nova创建的云主机的状态并没有直接关联。或者换个角度来看Nova创建的云主机也可以不用挂载Cinder创建的Volume而正常运行。2. Cinder架构在OpenStack中块存储服务Cinder为Nova项目虚拟机实例提供了数据持久性的存储服务。此外块存储还提供了Volumes管理的基础架构同时还负责Volumes的快照和类型管理。从功能层面来看Cinder以插件架构的形式为各种存储后端提供了统一API访问接口的抽象层实现使得存储客户端可以通过统一的API访问不同的存储资源而不用担心底层各式各样的存储驱动。Cinder提供的块存储通常以存储卷的形式挂载到虚拟机后才能使用目前一个Volume同时只能挂载到一个虚拟机但是不同的时刻可以挂载到不同的虚拟机因此Cinder块存储与AWS的EBS不同不能像EBS一样提供共享存储解决方案。除了挂载到虚拟机作为块存储使用外用户还可以将系统镜像写入块存储并从有加载镜像的Volume启动系统SAN BOOT。Cinder的逻辑架构如图3-1所示除了cinder-client外其余均是Cinder服务的核心组件共有4个cinder-api、cinder-scheduler、cinder-volume和cinder-backup。而cinder-client其实就是封装了Cinder提供REST接口的CLI工具。图3-1 cinder逻辑架构图1cinder-api对外提供REST API对操作需求进行解析对API进行路由并寻找相应的处理方法包含卷的CRUD快照的CRUD、备份、Volume Type的管理、卷的挂载/卸载等操作。Cinder API本质上其实是一个WSGI App启动Cinder API服务相当于启动一个名为osapi_volume的WSGI服务去监听Client的HTTP请求。OpenStack定义了两种类型的Cinder资源包括核心资源Core Resoure和扩展资源Extension Resoure。而核心资源及其API路由器分为V1及V2两个版本分别放在V1和V2两个目录下其中API路由器目录中的router.py负责把HTTP请求分发到其管理的核心资源中去V1的核心资源则包括卷Volume、卷类型Volume Type、快照Snapshot的操作管理比如创建和删除一个卷或为某个卷做一个快照等V2的核心资源增加了Qos、limit及备份的操作管理H版本以后。2Cinder-scheduler负责收集后端存储Backends上报的容量、能力信息。根据指定的算法完成卷到cinder-volume的映射。在Folsom版本中cinder-scheduler服务只是实现了简单调度Simple Scheduler算法和随机调度Chancer Scheduler算法。简单调度算法就是获取活动卷的服务节点按剩余容量从小到大排列选择剩余容量最多的Host节点随机调度算法就是在满足条件的节点中随机挑选出一个Host节点。在G版本后有了类似nova-scheduler的基于过滤和权重的新调度策略FilterScheduler。3Cinder-volume多节点部署使用不同的配置文件、接入不同的backend设备由各存储厂商插入driver代码与设备交互完成设备容量和能力信息收集、卷操作。每个存储节点都会运行一个cinder-volume服务若干个这样的存储节点联合起来可以构成一个存储资源池。4Cinder-backup实现卷的数据备份到其他介质。目前支持的有以Ceph、Swift和IBM TSMTivoli Storage Manager为后端存储的备份存储系统其中默认的是采用Swift备份存储系统。与Cinder-volume类似Cinder-backup也通过Driver插件架构的形式与不同的存储备份后端交互。5Cinder-db提供存储卷、快照、备份、service等数据支持Mysql、PG、MSSQL等SQL数据库。3. 块存储服务1查看服务状态使用“openstack volume service list”命令查询块存储服务状态命令代码如下所示[rootcontroller ~]# openstack volume service list --------------------------------------------------------------------------------- | Binary | Host | Zone | Status | State | Updated At | --------------------------------------------------------------------------------- | cinder-scheduler | controller | nova | enabled | up | 2024-06-24T06:31:16.000000 | | cinder-volume | computelvm | nova | enabled | up | 2024-06-24T06:31:09.000000 | ---------------------------------------------------------------------------------2创建块存储通过使用命令“openstack volume create”创建块存储命令格式如下[rootcontroller ~]# openstack help volume create usage: openstack volume create [-h] [-f {json,shell,table,value,yaml}] [-c COLUMN] [--max-width ] [--fit-width] [--print-empty] [--noindent] [--prefix PREFIX] [--size ] [--type ] [--image | --snapshot | --source | --source-replicated ] [--description ] [--user ] [--project ] [--availability-zone ] [--consistency-group consistency-group] [--property ] [--hint ] [--multi-attach] [--bootable | --non-bootable] [--read-only | --read-write]通过命令创建块存储大小为2G名称为“volume”。命令如下所示[rootcontroller ~]# openstack volume create --size 2 volume ----------------------------------------------------------- | Field | Value | ----------------------------------------------------------- | attachments | [] | | availability_zone | nova | | bootable | false | | consistencygroup_id | None | | created_at | 2024-06-25T07:06:37.000000 | | description | None | | encrypted | False | | id | 17f43dd4-8724-49ce-9149-3b3fafc71201 | | migration_status | None | | multiattach | False | | name | volume | | properties | | | replication_status | None | | size | 2 | | snapshot_id | None | | source_volid | None | | status | creating | | type | __DEFAULT__ | | updated_at | None | | user_id | 6df4273959974bd98b12b75b931373eb | -----------------------------------------------------------3查看块存储使用“openstack volume list”命令查看块存储列表信息。命令如下[rootcontroller ~]# openstack volume list ---------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ---------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | available | 2 | | ----------------------------------------------------------------------------通过openstack命令查看某一块存储的详细信息。命令如下[rootcontroller ~]# openstack volume show volume ---------------------------------------------------------------------- | Field | Value | ---------------------------------------------------------------------- | attachments | [] | | availability_zone | nova | | bootable | false | | consistencygroup_id | None | | created_at | 2024-06-25T07:06:37.000000 | | description | None | | encrypted | False | | id | 17f43dd4-8724-49ce-9149-3b3fafc71201 | | migration_status | None | | multiattach | False | | name | volume | | os-vol-host-attr:host | computelvm#LVM | | os-vol-mig-status-attr:migstat | None | | os-vol-mig-status-attr:name_id | None | | os-vol-tenant-attr:tenant_id | b0895efd70784108b94740a6bdfee44c | | properties | | | replication_status | None | | size | 2 | | snapshot_id | None | | source_volid | None | | status | available | | type | __DEFAULT__ | | updated_at | 2024-06-25T07:06:40.000000 | | user_id | 6df4273959974bd98b12b75b931373eb | ----------------------------------------------------------------------4挂载云硬盘块存储设备创建成功后可以在OpenStack上将该设备挂载至云主机上可以作为一块云硬盘来进行使用。给云主机添加一块磁盘。将块存储挂载至云主机的命令为“openstack server add volume”其命令格式为[rootcontroller ~]# openstack help server add volume usage: openstack server add volume [-h] [--device ] Add volume to server positional arguments: Server (name or ID) Volume to add (name or ID)使用命令将创建的“volume”块存储添加至云主机“test”上。命令如下[rootcontroller ~]# openstack server add volume test volume使用命令查看块存储的列表信息命令代码如下所示[rootcontroller ~]# openstack volume list ------------------------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ------------------------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | in-use | 2 | Attached to test on /dev/vdb | -------------------------------------------------------------------------------------------4. 扩展卷1扩展卷大小创建完卷后可能因为需求的变更需要对已有的卷进行扩容操作这时需要用到“openstack volume set”命令修改卷的信息。命令格式如下[rootcontroller ~]# openstack help volume set usage: openstack volume set [-h] [--name ] [--size ] [--description ] [--no-property] [--property ] [--image-property ] [--state ] [--type ] [--retype-policy ] [--bootable | --non-bootable] [--read-only | --read-write]通过命令将 “volume” 卷大小从2G扩容至3G使用–size参数可修改已创建好的卷大小。命令操作如下所示[rootcontroller ~]# openstack volume list ------------------------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ------------------------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | in-use | 2 | Attached to test on /dev/vdb | ------------------------------------------------------------------------------------------- [rootcontroller ~]# openstack volume set --size 3 volume [rootcontroller ~]# openstack volume list ---------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ---------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | available | 3 | | ----------------------------------------------------------------------------2验证卷大小将扩容后的卷“volume”挂载至云主机“test”上操作命令如下所示[rootcontroller ~]# openstack server add volume test volume [rootcontroller ~]# openstack volume list ------------------------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ------------------------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | in-use | 3 | Attached to test on /dev/vdb | -------------------------------------------------------------------------------------------可以看到卷“volume”挂载至云主机“test”上盘符的名称为/dev/vdb使用dashboard的控制台界面输入命令“lsblk”查看云硬盘大小是否为3G。命令操作如下所示可以看到显示盘符“vdb”大小为3G。此时云硬盘已经扩展完成。
1. Cinder概述OpenStack早期版本是使用nova-volume为云平台提供持久性块存储服务。从Folsom版本后就把作为Nova组成部分的nova-volume分离出来形成了独立的Cinder组件。Cinder本身并不直接提供块存储设备实际的管理和服务而是在虚拟机和具体的存储设备之间引入一个抽象的“逻辑存储卷”。Cinder与Neutron类似也是通过Plugins-Agent的方式添加了不同厂家的DRIVE来整合多种厂家的后端存储设备并通过提供统一API接口的方式为云平台提供持久性块设备存储服务类似于Amazon的EBSElastic Block Storage。Cinder服务的实现在OpenStack众多服务中只依赖Keystone服务提供认证。可能有些人觉得Cinder提供的Volume作为云主机的云磁盘因此Cinder与Nova也有依赖关系。其实这是一种错误的理解Cinder-Volume创建的“逻辑存储卷”不仅可以用于云主机的云磁盘也可以用于其他场景其创建卷的过程与Nova创建的云主机的状态并没有直接关联。或者换个角度来看Nova创建的云主机也可以不用挂载Cinder创建的Volume而正常运行。2. Cinder架构在OpenStack中块存储服务Cinder为Nova项目虚拟机实例提供了数据持久性的存储服务。此外块存储还提供了Volumes管理的基础架构同时还负责Volumes的快照和类型管理。从功能层面来看Cinder以插件架构的形式为各种存储后端提供了统一API访问接口的抽象层实现使得存储客户端可以通过统一的API访问不同的存储资源而不用担心底层各式各样的存储驱动。Cinder提供的块存储通常以存储卷的形式挂载到虚拟机后才能使用目前一个Volume同时只能挂载到一个虚拟机但是不同的时刻可以挂载到不同的虚拟机因此Cinder块存储与AWS的EBS不同不能像EBS一样提供共享存储解决方案。除了挂载到虚拟机作为块存储使用外用户还可以将系统镜像写入块存储并从有加载镜像的Volume启动系统SAN BOOT。Cinder的逻辑架构如图3-1所示除了cinder-client外其余均是Cinder服务的核心组件共有4个cinder-api、cinder-scheduler、cinder-volume和cinder-backup。而cinder-client其实就是封装了Cinder提供REST接口的CLI工具。图3-1 cinder逻辑架构图1cinder-api对外提供REST API对操作需求进行解析对API进行路由并寻找相应的处理方法包含卷的CRUD快照的CRUD、备份、Volume Type的管理、卷的挂载/卸载等操作。Cinder API本质上其实是一个WSGI App启动Cinder API服务相当于启动一个名为osapi_volume的WSGI服务去监听Client的HTTP请求。OpenStack定义了两种类型的Cinder资源包括核心资源Core Resoure和扩展资源Extension Resoure。而核心资源及其API路由器分为V1及V2两个版本分别放在V1和V2两个目录下其中API路由器目录中的router.py负责把HTTP请求分发到其管理的核心资源中去V1的核心资源则包括卷Volume、卷类型Volume Type、快照Snapshot的操作管理比如创建和删除一个卷或为某个卷做一个快照等V2的核心资源增加了Qos、limit及备份的操作管理H版本以后。2Cinder-scheduler负责收集后端存储Backends上报的容量、能力信息。根据指定的算法完成卷到cinder-volume的映射。在Folsom版本中cinder-scheduler服务只是实现了简单调度Simple Scheduler算法和随机调度Chancer Scheduler算法。简单调度算法就是获取活动卷的服务节点按剩余容量从小到大排列选择剩余容量最多的Host节点随机调度算法就是在满足条件的节点中随机挑选出一个Host节点。在G版本后有了类似nova-scheduler的基于过滤和权重的新调度策略FilterScheduler。3Cinder-volume多节点部署使用不同的配置文件、接入不同的backend设备由各存储厂商插入driver代码与设备交互完成设备容量和能力信息收集、卷操作。每个存储节点都会运行一个cinder-volume服务若干个这样的存储节点联合起来可以构成一个存储资源池。4Cinder-backup实现卷的数据备份到其他介质。目前支持的有以Ceph、Swift和IBM TSMTivoli Storage Manager为后端存储的备份存储系统其中默认的是采用Swift备份存储系统。与Cinder-volume类似Cinder-backup也通过Driver插件架构的形式与不同的存储备份后端交互。5Cinder-db提供存储卷、快照、备份、service等数据支持Mysql、PG、MSSQL等SQL数据库。3. 块存储服务1查看服务状态使用“openstack volume service list”命令查询块存储服务状态命令代码如下所示[rootcontroller ~]# openstack volume service list --------------------------------------------------------------------------------- | Binary | Host | Zone | Status | State | Updated At | --------------------------------------------------------------------------------- | cinder-scheduler | controller | nova | enabled | up | 2024-06-24T06:31:16.000000 | | cinder-volume | computelvm | nova | enabled | up | 2024-06-24T06:31:09.000000 | ---------------------------------------------------------------------------------2创建块存储通过使用命令“openstack volume create”创建块存储命令格式如下[rootcontroller ~]# openstack help volume create usage: openstack volume create [-h] [-f {json,shell,table,value,yaml}] [-c COLUMN] [--max-width ] [--fit-width] [--print-empty] [--noindent] [--prefix PREFIX] [--size ] [--type ] [--image | --snapshot | --source | --source-replicated ] [--description ] [--user ] [--project ] [--availability-zone ] [--consistency-group consistency-group] [--property ] [--hint ] [--multi-attach] [--bootable | --non-bootable] [--read-only | --read-write]通过命令创建块存储大小为2G名称为“volume”。命令如下所示[rootcontroller ~]# openstack volume create --size 2 volume ----------------------------------------------------------- | Field | Value | ----------------------------------------------------------- | attachments | [] | | availability_zone | nova | | bootable | false | | consistencygroup_id | None | | created_at | 2024-06-25T07:06:37.000000 | | description | None | | encrypted | False | | id | 17f43dd4-8724-49ce-9149-3b3fafc71201 | | migration_status | None | | multiattach | False | | name | volume | | properties | | | replication_status | None | | size | 2 | | snapshot_id | None | | source_volid | None | | status | creating | | type | __DEFAULT__ | | updated_at | None | | user_id | 6df4273959974bd98b12b75b931373eb | -----------------------------------------------------------3查看块存储使用“openstack volume list”命令查看块存储列表信息。命令如下[rootcontroller ~]# openstack volume list ---------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ---------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | available | 2 | | ----------------------------------------------------------------------------通过openstack命令查看某一块存储的详细信息。命令如下[rootcontroller ~]# openstack volume show volume ---------------------------------------------------------------------- | Field | Value | ---------------------------------------------------------------------- | attachments | [] | | availability_zone | nova | | bootable | false | | consistencygroup_id | None | | created_at | 2024-06-25T07:06:37.000000 | | description | None | | encrypted | False | | id | 17f43dd4-8724-49ce-9149-3b3fafc71201 | | migration_status | None | | multiattach | False | | name | volume | | os-vol-host-attr:host | computelvm#LVM | | os-vol-mig-status-attr:migstat | None | | os-vol-mig-status-attr:name_id | None | | os-vol-tenant-attr:tenant_id | b0895efd70784108b94740a6bdfee44c | | properties | | | replication_status | None | | size | 2 | | snapshot_id | None | | source_volid | None | | status | available | | type | __DEFAULT__ | | updated_at | 2024-06-25T07:06:40.000000 | | user_id | 6df4273959974bd98b12b75b931373eb | ----------------------------------------------------------------------4挂载云硬盘块存储设备创建成功后可以在OpenStack上将该设备挂载至云主机上可以作为一块云硬盘来进行使用。给云主机添加一块磁盘。将块存储挂载至云主机的命令为“openstack server add volume”其命令格式为[rootcontroller ~]# openstack help server add volume usage: openstack server add volume [-h] [--device ] Add volume to server positional arguments: Server (name or ID) Volume to add (name or ID)使用命令将创建的“volume”块存储添加至云主机“test”上。命令如下[rootcontroller ~]# openstack server add volume test volume使用命令查看块存储的列表信息命令代码如下所示[rootcontroller ~]# openstack volume list ------------------------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ------------------------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | in-use | 2 | Attached to test on /dev/vdb | -------------------------------------------------------------------------------------------4. 扩展卷1扩展卷大小创建完卷后可能因为需求的变更需要对已有的卷进行扩容操作这时需要用到“openstack volume set”命令修改卷的信息。命令格式如下[rootcontroller ~]# openstack help volume set usage: openstack volume set [-h] [--name ] [--size ] [--description ] [--no-property] [--property ] [--image-property ] [--state ] [--type ] [--retype-policy ] [--bootable | --non-bootable] [--read-only | --read-write]通过命令将 “volume” 卷大小从2G扩容至3G使用–size参数可修改已创建好的卷大小。命令操作如下所示[rootcontroller ~]# openstack volume list ------------------------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ------------------------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | in-use | 2 | Attached to test on /dev/vdb | ------------------------------------------------------------------------------------------- [rootcontroller ~]# openstack volume set --size 3 volume [rootcontroller ~]# openstack volume list ---------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ---------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | available | 3 | | ----------------------------------------------------------------------------2验证卷大小将扩容后的卷“volume”挂载至云主机“test”上操作命令如下所示[rootcontroller ~]# openstack server add volume test volume [rootcontroller ~]# openstack volume list ------------------------------------------------------------------------------------------- | ID | Name | Status | Size | Attached to | ------------------------------------------------------------------------------------------- | 17f43dd4-8724-49ce-9149-3b3fafc71201 | volume | in-use | 3 | Attached to test on /dev/vdb | -------------------------------------------------------------------------------------------可以看到卷“volume”挂载至云主机“test”上盘符的名称为/dev/vdb使用dashboard的控制台界面输入命令“lsblk”查看云硬盘大小是否为3G。命令操作如下所示可以看到显示盘符“vdb”大小为3G。此时云硬盘已经扩展完成。
