QB-╳╳-╳╳╳-╳╳╳╳
EBS System Device Specification
版本号：0.9.4
╳╳╳╳╳╳-╳╳-╳╳实施 ╳╳-╳╳-╳╳发布
中国移动通信企业标准
弹性块存储系统设备规范
中国移动通信集团公司 发布
QB-╳╳-╳╳╳-╳╳╳╳
目 录
前 1. 2. 3.
言 .............................................................................................................................................. I 范围 ............................................................................................................................................ 1 规范性引用文件 ........................................................................................................................ 1 术语、定义和缩略语 ................................................................................................................ 2 3.1. 术语、定义 ............................................................................................................... 2 3.2. 缩略语 ....................................................................................................................... 2 4. 设备在网络中的位置 ................................................................................................................ 3 5. 系统功能架构及接口 ................................................................................................................ 3 6. 存储功能要求 ............................................................................................................................ 4
6.1. iSCSI 会话配置 ....................................................................................................... 4 6.2. 创建卷 ....................................................................................................................... 5 6.3. 删除卷 ....................................................................................................................... 5 6.4. 建立Mapping关系 .................................................................................................. 5 6.5. 解除Mapping关系 .................................................................................................. 6 6.6. 查询卷状态 ............................................................................................................... 6 7. 系统管理功能要求 .................................................................................................................... 6
7.1. 日志与统计报表功能要求 ....................................................................................... 6 7.2. 操作管理功能要求 ................................................................................................... 7 8. 非功能性要求 ............................................................................................................................ 7
8.1. 可靠性要求 ............................................................................................................... 7 8.2. 可扩展要求 ............................................................................................................... 8 8.3. 性能指标 ................................................................................................................... 9 8.3.1. 扩展性指标 ........................................................................................................... 9 8.3.2. IO性能指标 ......................................................................................................... 9 8.3.3. 平均响应时间指标 ............................................................................................... 9 8.3.4. 其他性能指标 ....................................................................................................... 9 9. 接口要求 .................................................................................................................................... 9 10. 安全要求 .................................................................................................................................. 10
10.1. 业务安全要求 ......................................................................................................... 10 10.1.1. 虚拟机登录的鉴权与认证 ................................................................................. 10 10.1.2. 虚拟机访问数据的安全性保护（可选） ......................................................... 10 10.1.3. 数据隔离 ............................................................................................................. 10 10.2. 系统管理的安全要求 ............................................................................................. 11 10.2.1. 系统管理用户认证鉴权 ..................................................................................... 11 10.2.2. 系统管理角色管理 ............................................................................................. 11 10.2.3. 安全审计 ............................................................................................................. 11 11. 网管要求 .................................................................................................................................. 12
11.1. 配置管理 ................................................................................................................. 13 11.2. 性能管理 ................................................................................................................. 13 11.3. 告警管理 ................................................................................................................. 14 12. 计费 .......................................................................................................................................... 14 13. 编制历史 .................................................................................................................................. 14
I
QB-╳╳-╳╳╳-╳╳╳╳
前 言
本标准对中国移动弹性块存储设备提出技术要求，明确了弹性块存储的功能架构以及相关技术要求，为中国移动实施弹性块存储平台建设提供规范指导。
本标准主要包括以下几方面内容：设备在网络中的位置、系统功能架构和接口、存储功能要求、系统管理功能要求、非功能要求、接口要求、安全要求、网管和计费要求等。。
本标准由中移 号文件印发。
本标准由中国移动通信集团计划部提出，集团公司技术部归口。 本标准起草单位：中国移动通信研究院 本标准主要起草人：
I
QB-╳╳-╳╳╳-╳╳╳╳
1. 范围
本标准规定了中国移动弹性块存储系统设备的功能和技术细节要求，供中国移动内部和厂商共同使用；是弹性块存储系统设备开发所需要遵从的技术文件。
本标准主要包括以下几方面内容：存储功能要求、系统管理功能要求、非功能要求、接口要求、安全要求、网管和计费要求等。
2. 规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。
表 2-1 规范性引用文件
序号 [1] [2] [3] [4] [5] [6] [7] [8] [9] [10]
标准编号 RFC2104 RFC3174 RFC 959 RFC3720 RFC3721 RFC3722 RFC3723 RFC3347 RFC3783 RFC3385 标准名称 HMAC: Keyed-Hashing Authentication File Transfer Protocol for 发布单位 Message IETF IETF IETF US Secure Hash Algorithm 1 (SHA1) Internet Small Computer Systems Interface IETF Internet Small Computer Systems Interface IETF (iSCSI) Naming and Discovery String Profile for iSCSI Names iSCSI Requirements Considerations Command Ordering iSCSI CRC Considerations and IETF Design IETF IETF IETF Securing Block Storage Protocols over IP IETF 1
QB-╳╳-╳╳╳-╳╳╳╳
3. 术语、定义和缩略语
3.1. 术语、定义
表 3-1 术语及定义
术语/定义 解释 云存储系统 一种由多个服务器节点组成的分布式存储集群，使用者能够通过多种接口使用其中的分布式存储资源，这些接口屏蔽存储集群内部技术细节。 弹性块存储系统 为用户提供块级别的高速数据存储服务的存储系统，用户可使用块存储设备在虚拟机或物理机上以卷的方式存取数据。 文件存储 为用户提供基于名字空间的、易扩展的海量数据存储服务的存储系统，用户可在虚拟机或物理机上以文件系统方式，基于POSIX/CIFS/NFS/FTP等标准协议进行数据存取。 卷 为用户提供的基于块存储系统中的物理空间的逻辑分区，用于虚拟机或物理机以LUN方式进行数据存取。可以进行建立，删除，扩展等操作。 平均响应时间 大量数据IO并发访问时， 所有IO请求的响应时间的平均值，反应存储系统的性能和负载水平。
3.2. 缩略语
表 3-2 缩略语
缩略语 英文全称 中文含义 API Application Programming Interface 应用程序编程接口 CHAP Challenge Handshake Authentication 询问握手认证协议 Protocol IPSec Internet Protocol Security Internet协议安全性 iSCSI Internet Small Computer System Internet小型计算机系统Interface 接口 iSNS Internet Storage Name Service Internet存储名称服务 LUN Logical Unit Number 逻辑单元标识 SAN Storage Area Network 存储区域网 VM Virtural Machine 虚拟机
2
QB-╳╳-╳╳╳-╳╳╳╳
4. 设备在网络中的位置
弹性块存储系统为虚拟机系统提供块存储设备。该子系统从资源管理平台接受块资源的请求，创建块资源，并建立块资源和虚拟机化服务器的映射关系，然后接受虚拟化服务器的会话连接请求，通过Hypervisor将卷空间附加到VM上，作为VM的一个块设备，保存客户的持久性数据。
资源管理平台虚拟机系统块存储系统 图 4-1 弹性块存储系统在网络中的位置
5. 系统功能架构及接口
资源管理平台BS-mBS-cMapping配置卷操作业务计量统计日志配置管理虚拟机系统iSCSI块存储资源管理块存储系统块存储池资源系统管理操作维护系统监控图形用户界面
图 5-1 弹性块存储系统功能架构和接口
3
QB-╳╳-╳╳╳-╳╳╳╳
块存储系统的功能架构如图5-1所示，主要包括：块存储资源管理、块存储资源池和系统管理模块。
块存储资源管理
负责对块存储资源的管理，并向资源管理平台和虚拟机系统提供API。对资源管理平台提供的API能力包括：卷操作和业务计量信息上报，与虚拟机系统交互的API主要是存储Mapping配置。
块存储池资源
实现块存储的功能。对外暴露某种块存储协议（如iSCSI协议）。块存储资源在物理形态上可以是基于硬件的存储设备，如IP SAN设备，也可以是运行有iSCSI软件的存储型服务器。
系统管理
块存储系统管理包括：配置管理、操作维护、系统监控、统计日志、图形用户界面等几个模块。通过图形用户界面，操作维护人员可以实现对块存储系统的管理。
弹性块存储系统与周边系统存在如下几个接口：
BS-m:块存储和资源管理平台的接口。该接口支持的操作有：创建卷、删除卷、查询卷、Mapping关系配置、计量信息（磁盘IO信息等）上报等。
BS-c:块存储和虚拟计算系统之间的控制接口。虚拟化服务器和存储系统通过该接口建立存储会话。
iSCSI：虚拟机系统和块存储系统之间的访问协议。 6. 存储功能要求
6.1. iSCSI 会话配置
【功能描述】
配置块存储资源的iSCSI端口，包括iSCSI target的IP地址、TCP端口号和名字信息等，满足iSCSI initiator和iSCSI target建立iSCSI会话的要求。
【功能要求】
4
QB-╳╳-╳╳╳-╳╳╳╳
块存储设备需要支持iSCSI 静态配置，既在iSCSI initiator 已经知道iSCSI target的IP地址TCP端口号和名字信息时，iSCSI initiator不需要执行发现。iSCSI initiator直接通过IP地址和TCP端口来建立TCP连接，使用iSCSI target的名字来建立iSCSI会话。
6.2. 创建卷
【功能描述】
从存储资源池中为用户创建指定容量的卷。 【功能要求】
接收资源管理平台创建卷的指令，在块存储资源中根据指令要求的卷的大小和指定的卷ID等属性创建该卷，在创建结束后对该卷进行格式化。
6.3. 删除卷
【功能描述】
将用户指定的卷删除，释放空间。 【功能要求】
接收资源管理平台删除卷的指令，块存储系统应具备以下的功能来确保该指令的完成： 对目标卷进行删除操作前，首先解除该卷相关的Mapping 关系； 对删除后的目标卷上的数据进行有效地清除；
删除后的目标卷所占用的存储空间完全释放，并返回块存储系统的存储资源池中为
新的需求所用。
6.4. 建立Mapping关系
【功能描述】
在块存储设备侧建立卷和虚拟化服务器的对应关系，将资源管理平台指定的卷分配给指定的虚拟化服务器，供用户使用。
【功能要求】
接收到资源管理平台建立Mapping关系指令，同时需要具备以下的功能：
5
QB-╳╳-╳╳╳-╳╳╳╳
在块存储设备iSCSI端口中对initiator 的iSCSI 名称进行设置，以便于创建的块
存储资源被授权的虚拟化服务器系统访问；
在指定的块存储设备iSCSI端口上将创建的块存储卷与相应的虚拟化服务器的
initiator 的iSCSI 名称建立Mapping关系。
6.5. 解除Mapping关系
【功能描述】
在块存储设备侧解除指定的卷与虚拟化服务器的关联关系。 【功能要求】
接收资源管理平台解除Mapping关系指令，块存储系统需要具备以下的功能： 从虚拟机系统确认该卷已经从虚拟机系统分离；
在指定的块存储设备iSCSI端口上将相应的块存储卷与相应的虚拟化服务器
Mapping关系在列表中删除。
6.6. 查询卷状态
【功能描述】
用户可获已创建卷的属性及状态信息。通过状态信息查询，用户可获知当前卷的创建进展信息。
【功能要求】
接收资源管理平台的指令，根据卷ID反馈该卷的状态及其属性信息。
卷信息应包括并不限于：该卷的容量、数据保护级别、所属的资源组和目前所处的状态是否可用等。
7. 系统管理功能要求
7.1. 日志与统计报表功能要求
日志功能：
6
QB-╳╳-╳╳╳-╳╳╳╳
块存储系统应提供系统日志功能。日志记录必须完整可靠，至少包括严重级别、时间、事件内容等信息。
用户应可自定义系统日志的级别，根据设置的日志级别记录系统日志。 用户应可自定义日志记录的触发事件，根据定义的事件触发并记录日志。
系统日志的管理，应至少包括日志导出和日志删除功能，应限制或可配置日志记录的访问权限，防止日志被非法修改或删除。
统计报表功能：
块存储系统应提供统计报表功能。提供的统计量包括：针对每个LUN，周期性的统计其IO流量（包括读流量、写流量）。
应能够针对统计项生成统计报表。
7.2. 操作管理功能要求
配置管理：
块存储系统应提供系统配置管理功能。提供对系统管理网络的配置、资源组的配置管理、版本管理、License管理等功能，并提供配置信息的导出与导入功能。
操作维护：
块存储系统应提供系统操作维护功能。系统管理员可以通过图形或命令行的方式对系统进行各种操作，并进行日常和故障维护工作。
系统监控：
块存储系统提供系统监控的功能。提供对系统健康状态的实时监控。监控的工作状态可能有：工作温度、电源电压等。当监控到异常状态时，可以告警并记录日志。
8. 非功能性要求
8.1. 可靠性要求
1. 系统可靠性要求
弹性块存储系统的可靠性要求如下：
支持7×24小时提供服务； 系统可用性应达到99.999%；
7
QB-╳╳-╳╳╳-╳╳╳╳
采用分布式X86服务器集群架构时，节点可用性应达到99.9% 。 2. 数据存储可靠性
要求用户数据可靠性可灵活配置，向用户提供不同级别的可靠性。
可靠性包括保证单磁盘故障时数据可靠，单节点故障时数据可靠，单机柜故障时数据可靠等多种级别。
3. 数据自愈
弹性块存储系统在数据发生故障时，可以提供数据自愈能力，自行恢复数据。
8.2. 可扩展要求
1. 自动精简配置（瘦供给THP）
弹性块存储系统若采用集中阵列设备，则需要支持自动精简配置功能。
自动精简配置是指系统可以创建随着应用需求而不断增长的存储卷的功能。在创建自动精简配置卷时，存储卷的初始实际使用容量很小，而提供给应用前端的虚拟容量可以很大，从而可以实现对应用系统的一次配置，实际使用容量随需求增长而不断增长，从而大大提高存储利用率。
自动精简配置卷对前端应用透明，可以支持前端的各种主流操作系统和应用。 2. 动态扩容
弹性块存储系统的动态扩容是在不影响正常服务的情况下进行动态的存储容量和处理能力扩容。
需要支持存储容量和处理能力的动态在线添加； 存储容量和处理能力扩容相互独立； 要求在动态扩容期间服务不中断。 3. 数据负载均衡
弹性块存储系统在扩容或系统调整后，数据可以实现数据动态负载均衡，以保证存储空间和性能充分利用，负载均衡不影响系统的正常服务。
8
QB-╳╳-╳╳╳-╳╳╳╳
8.3. 性能指标
8.3.1. 扩展性指标
系统应支持PB级存储容量。
8.3.2. IO性能指标
IO性能指标根据应用系统读写访问方式和应用系统访问存储块大小分成四个指标，对于PB级的存储系统，应满足的指标体系如下表所示：
表 8-1 弹性块存储系统IO性能指标要求
编号 1 2 3 4 读写方式 随机读 随机写 顺序读 顺序写 存储块大小 8KB 8KB 256KB 256KB IO性能指标(IOPS或MB/s) 75000IOPS 37500IOPS 10000MB/S 5000MB/S 8.3.3. 平均响应时间指标
系统访问8KB存储块的平均响应时间应不高于50ms。
8.3.4. 其他性能指标
弹性块存储主要系统指标（按照存储容量在PB级考虑）包括：
最大LUN数量： 支持最大LUN数量在100000个以上； LUN大小： 单个LUN的容量最大可支持2TB以上； 支持最大服务器数量： 支持最大服务器数量在20000个以上。
9. 接口要求
接口描述参见《弹性块存储存储系统接口规范》。
9
QB-╳╳-╳╳╳-╳╳╳╳
10. 安全要求
10.1. 业务安全要求
10.1.1. 虚拟机登录的鉴权与认证
【功能描述】
块存储系统必须支持对登录虚拟机的鉴权与认证。 【功能要求】
块存储系统应支持对登录虚拟机的鉴权与认证，可以采用CHAP等标准认证方法，防止未经授权的非法访问。
10.1.2. 虚拟机访问数据的安全性保护（可选）
【功能描述】
块存储系统可以支持对虚拟机访问数据的安全保护。 【功能要求】
块存储系统可以支持对虚拟机访问数据的安全保护，采用IPSec机制建立安全的通信通道，保证虚拟机访问数据在传输过程中的完整性。
10.1.3. 数据隔离
【功能描述】
块存储系统必须支持数据隔离功能。 【功能要求】
块存储系统应将不同虚拟机的访问数据从逻辑上相互隔离，每个虚拟机只能对各自有权限访问的卷进行操作。
10
QB-╳╳-╳╳╳-╳╳╳╳
10.2. 系统管理的安全要求
10.2.1. 系统管理用户认证鉴权
【功能描述】
块存储系统必须支持对系统管理用户的鉴权与认证。 【功能要求】
块存储系统的系统管理用户身份认证需要能和现有用户的账户管理系统进行
有效的集成，从而实现统一的企业级安全管理；
块存储系统的系统管理用户登录限制：通过用户名/密码对用户身份进行认证；
块存储系统管理员可控制账户/用户能否访问块存储资源，通过调整该账户/用户的访问权限来实现；
10.2.2. 系统管理角色管理
【功能描述】
块存储系统必须支持对系统管理用户的角色管理，提供分权分域的管理。 【功能要求】
对不同级别的系统管理用户，赋予不同的角色，分配不同的管理权限；或通过
用户角色限定用户功能权限，确定用户可以使用的功能；
10.2.3. 安全审计
【功能描述】
块存储系统应支持安全审计。 【功能要求】
通过对存储系统的性能、使用情况、操作情况、安全情况和流量情况的监测，
满足相关审计法规的要求。
11
QB-╳╳-╳╳╳-╳╳╳╳
11. 网管要求
本章内容是当弹性块存储系统与外部网管系统（中国移动网管系统）对接时，对弹性块存储系统的网管相关功能提出的技术要求。
当弹性块存储系统与网管系统对接时，要求弹性块存储系统的运营管理平台和资源池管理平台分别接入所在省的省级网管系统。
弹性块存储系统被网管系统管理的对象如下表所示。
表10-1 弹性块存储系统被网管系统管理的对象 所在系统 运营管理平台 被管理的对象 运行运营管理平台软件及其配套系统的服务器 运行资源池管理平台软件及其配套系统的服务器 运行虚拟机系统各类软件及其配套系统的服务器 资源池系统 运行对象存储软件及其配套系统的服务器 块存储设备（如磁盘阵列及其相关服务器） 资源池系统中各类网络设备，包括路由器、交换机、防火墙等 在运营管理平台中，被外部网管系统管理的对象是运行运营管理平台软件及其配套系统的服务器。网管系统直接通过网管系统接口与运营管理平台的系统监控模块连接，实现对服务器进行监控和管理。
在资源池系统中，被网管系统管理的对象包括：
1、 运行资源池管理平台软件及其配套系统的服务器； 2、 运行虚拟机系统各类软件及其配套系统的服务器； 3、 运行对象存储软件及其配套系统的服务器； 4、 块存储设备（如磁盘阵列及其相关服务器）；
5、 资源池系统中各类网络设备，包括路由器、交换机、防火墙等。 网管系统对资源池系统各类对象的管理模式如下图所示。网管系统对资源池系统中各类对象的管理，通过资源池系统的管理平台完成，即资源池系统的各类对象首先与资源池管理平台实现网管连接，资源池管理平台再根据网管系统的要求，通过与网管系统的接口将相关信息和数据传送到网管系统。
12
QB-╳╳-╳╳╳-╳╳╳╳
中国移动网管系统性能、告警及配置信息资源池系统资源池管理平台性能、告警及配置信息虚拟机系统服务器对象存储服务器块存储设备路由器交换机防火墙 图 网管系统对资源池系统各类对象的管理模式
与网管系统的接口详细参见《中国移动数据业务系统通用网管接口技术规范》要求。 网管系统对IDC云平台管理的内容包括配置管理、性能管理和告警管理，IDC云平台需要实现上述功能，同时还需要实现与上述功能相关的日志管理功能。 11.1. 配置管理
配置管理完成对IDC云平台中各类被管对象的配置进行查询和操作功能。对IDC云计算运营管理平台和资源池管理平台的主要功能要求包括：
根据系统的业务配置的需要，提供各类资源及设备的网元级配置管理，对不同设备
提供不同的配置内容；
对网络互连信息进行配置和查询，能够动态地显示当前网络的拓扑状况，管理员可
逐级进入而进行拓扑信息查询；
支持配置设备加载属性，对设备进行删除、复位、启用或禁用。在配置中如果设备
超时未响应，会提示配置超时；如果配置参数非法，会给出详细的错误提示信息；如果配置成功，也会进行提示；
配置数据管理：需要支持对配置数据的存储、编辑、刷新、备份和恢复。 11.2. 性能管理
性能管理主要完成对IDC云平台各类设备运行信息进行实时监控的功能。 对IDC云计算运营管理平台和资源池管理平台的主要功能要求包括： 1) 性能指标测量任务管理：可对测量任务进行管理。
2) 监测数据采集与监控：需要支持性能指标监测数据的采集，并支持以文件方式或者
消息方式上报性能测量数据的功能，并进行测量数据存储、查询和报表生成等功能。
13
QB-╳╳-╳╳╳-╳╳╳╳
11.3. 告警管理
告警管理主要捕获IDC云平台各类设备的告警，进行故障诊断及定位分析。 对IDC云计算运营管理平台和资源池管理平台的主要功能要求包括：
1) 告警参数设置：支持对告警类型、告警级别和发生时间、告警确认、告警确认时间
等参数的管理，并支持告警参数删除和修改等操作；
2) 告警监控：需具备实时监控系统的负荷和故障情况的能力，保证系统的稳定运行。 3) 告警等级：发往网管的告警级别可以设置。
4) 告警过滤：根据关注的角度不同来设定不同的过滤条件，过滤出需要发送的告警数
据，如告警代码、状态状态等；
5) 告警通知方式：告警可以支持 E-Mail、短信等多种通知方法，管理人员可对通知
条件和告警的内容进行灵活定制；
6) 告警信息处理与故障追踪：当产生告警的条件已经不存在，可以通过管理人员确认
告警已经消除，或系统通过自动方式清除相关告警。
12. 计费
按照不同存储容量规格，计时长进行计费。
计量一定大小块存储的使用时长，计时起点为块存储资源交付时刻，计时终点为块存储资源回收时刻。
13. 编制历史
版本号 1.0.0
更新时间 200×－××－×× 主要内容或重大修改 1.0.0版本 14
QB-╳╳-╳╳╳-╳╳╳╳
附录A 详细修订历史 附录B
15
因篇幅问题不能全部显示，请点此查看更多更全内容