1、71技术交流2023.02 广东通信技术DOI:10.3969/j.issn.1006-6403.2023.02.017分布式存储在运营商中的应用与研究孙淳晔庞亚南邓芳对分布式存储从服务类型、技术流派、技术对比等各方面进行全方面分析，总结了分布式存储未来的发展方向，最后对运营商内部应用分布式存储提出了展望。孙淳晔高级工程师，硕士，中国移动通信集团设计院有限公司河北分公司，主要从事大型云资源池、大数据、智慧中台类相关咨询及设计工作庞亚南助理工程师，硕士，中国移动通信集团设计院有限公司河北分公司，主要从事大型云资源池、大数据类相关咨询及设计工作。邓芳高级工程师，本科，中国移动通信集团设计院有限公司
2、河北分公司，主要从事网管、网优支撑系统类相关咨询及设计工作。关键词：分布式存储 发展方向 运营商摘要1 引言随着 IT 技术的不断发展，企业的 IT 基础架构向云化与资源池方向演进，易部署、管理、维护的云化架构将成为主流的应用架构，其中尤以存储技术的变化最为巨大，随着SDS 存储技术的成熟，其承载的关键业务负载渗透率持续提升，越来越多的企业数据将会存储到弹性分布式存储。2 分布式存储发展趋势纵览运营商近几年的存储发展趋势，传统集中存储逐渐萎缩，分布式存储快速推广，存储设备已经从专有设备向简单管理，支持大规模线性扩展的通用设备过渡，并且大视频、大数据、数字化业务等新兴业务的全面云化部署，存储的数
3、据量级也在呈指数倍趋势增长，为未来分布式云存储的普及提供了环境。对于运营商，经过近些年去 IOE 思路下的发展建设，IT基础设施走向全面云化，同时随着降本增效诉求的提出，具备弹性扩展，大容量的分布式成为存储产品的首选。3 分布式与传统存储对比如图 1 所示，分布式存储是将数据分散存储在网络上的多台独立设备上，一般采用标准X86服务器和网络互联，并在其上运行相关存储软件，以多副本或纠删码策略提供72技 术 交 流技术交流从技术特点的角度考虑，如表 1 所示，从扩展性，经济性，管理性三方面对分布式存储系统和传统存储系统进行了对比。分布式存储由于采用商用标准 X86 服务器，采购成本低廉，闲置的服务
4、器同样可以进行利旧使用。X86 服务器采用标准的硬件平台，后期更换部件成本低廉。（3）管理性传统存储发生业务迁移时需要专门的迁移方案，甚至发生软硬件采购费用，割接时业务发生中断，影响业务，而分布式存储则自动在线完成数据重分布，并提供 QoS流控制，不中断业务。4 分布式存储分类（1）按服务类型分类分布式块主要是通过 RAID，卷管理等技术将物理裸空间映射为逻辑空间，以磁盘块为单位进行操作3，操作系统层无感知，由于整合了较多的硬盘，提升了数据读写的并发性能，保证了 IO 性能。主要适用于 Docker 容器、虚拟机磁盘存储分配、日志存储等。移动集团针对分布式块的分类如表 2所示，用户根据适用场景
5、进行性能、容量的均衡选择。图 2 展示了分布式块存储场景分类。安全保障，系统对外作为一个整体提供存储服务1。传统集中式存储主要以 FC-SAN 存储为代表，该类存储主要由控制器和多个硬盘框组成。图 1 传统存储与分布式存储架构对比表 1 技术特点对比组成扩展性经济性管理性集中式机头，集中式控制器硬盘框扩展，受限于机头控制器采用厂商独有磁盘等部件，后期续保费用高昂涉及数据迁移需要专门的迁移服务，造成中断，影响业务集中式 CacheFC、InfiniBand分布式分布式控制器按节点、堆叠式扩展采购成本低廉，闲置的服务器同样可以进行利旧使用自动完成数据重分布，QOS 流控制，不中断业务分布式 Cac
6、heIP、InfiniBand（1）扩展性传统集中式存储典型特点为采用双冗余控制器。在数据量较小并且增长量很小时，性价比相对比较突出，当数据量显著增大时由于控制器瓶颈造成性能受限。设备处理能力上限在购买时已经确定，如果需求超过上限，需重新购买更高性能的设备，浪费已有投资。分布式存储是面向大数据时代而设计的产品，此类产品打破了传统存储架构，由大量的存储节点组成存储集群系统，每个节点既是控制器又是磁盘笼，存储节点可以从几个节点到上千节点，存储性能、前后端口 IO 性能都随着存储空间的增长而成比例地增加，适合数据量快速膨胀的场景2。（2）经济性传统集中式存储初期采购成本价格高昂，一次性采购未来一至二
7、年的预估容量和性能。当设备维保到期后，由于集中式存储采用厂商独有磁盘等部件，后期续保费用高昂。表 2 分布式块典配模型分类典配模型分类有效容量（TB）需求匹配典配 X软硬一体-容量型200（可叠加）容量大，性能一般典配 X软硬一体-性能型80（可叠加）数据库等小容量场景典配 X纯软-定制化场景100（可叠加）定制化场景图 2 分布式块存储场景分类为主机分配存储资源后进行文件系统挂载，造成存储映射的唯一性，分配给主机 A 的存储一般情况不能共享给73技术交流分布式存储在运营商中的应用与研究2023.02 广东通信技术主机 B，共享性较差。基于上述缺点，分布式对象、分布式文件存储得以推广应用。分布
8、式文件存储如表 3 所示分为容量型、性能型两类，类似于早期的 NAS 存储，它主要用于文件共享，以文件为单位进行操作，采用 NFS 或CIFS 命令集访问数据，通过 TCP/IP 实现网络化存储，存储协议主要包括传统文件系统如Ext3、Ext4的POSIX接口，GlusterFS、HDFS 等非传统文件存储的接口类型，适合日志存储、有目录结构的文件存储等。到不同节点的不同磁盘上，实现技术上主要通过多副本、纠删码方式。（1）多副本如图 3 所示，多副本存储机制是指将一份数据拷贝多份完全一样的副本，分别存放在多个随机选择的不同节点上4。在部分节点发生故障时，通过存活节点复原原始数据。表 3 分布式
9、文件典配模型分类典配模型分类有效容量（PB）需求匹配典配 X容量型（模型 14）1、3、4、10典配 X性能型（模型 14）1、3、4、10分布式对象同时兼具块存储的高 IO 性能及文件存储的共享优势，得以广泛的应用，目前业界流行的协议标准主要有 AWS S3、OpenStack Swift 接口协议等，适合更新变动较少的数据如图片、视频存储等。（2）按技术流派分类随着分布式存储的普及，各厂商依托自身优势在 SDS市场发力，梳理了当前的存储流派，主要分为三大阵营。自主研发阵营，一般情况可提供纯软件的分布式存储解决方案，硬件为通用的集采设备，但厂商会有硬件推荐，以便得到更好的性能及可靠性；进一步
10、可提供软硬一体的解决方案，厂商提供所有的软硬件一体机，由于软、硬件资源均由厂家自研提供，参数方面调优较佳，会比纯软产品具备更优越的性能。基于开源社区的二次开发，此类厂家基于原生态存储社区进行二次开发，或提供纯软存储方案或提供软硬一体存储方案，主要解决了原生态用于实际场景的易用性及兼容性问题。目前业界使用较为广泛的主要有 Ceph、OpenStack、Gluster-FS 等开源架构。厂商软件服务商绑定模式，由厂商提供专有定制硬件，由 Linux 厂商提供软件服务并负责后期问题解决，厂商将二者进行打包售卖，主要以软硬一体方式为主。5 可靠性保障机制分布式存储的高可靠性主要是将文件切成对象并分布（
11、2）纠删码纠删码（Erasure Code）简称 EC，是一种纠正数据丢失的校验码5。如图 4 所示，其原理是将原始数据与编码数据共同随机分配到不同节点，在部分节点发生故障时反推得到原始数据。图 3 多副本存储机制图 4 纠删码机制N 表示原始数据的份数，M 表示校验数据的份数，这（N+M）份数据中，最多允许同时故障 M 份数据。除了常见的 M+N 纠删码之外，我们还经常见到一种 N+M:b 的纠删码，称之为亚节点纠删码，其表示存储系统允许任意故障的最大磁盘数是 M，或者允许任意故障的最大节点数是 b，这两个任意性无法同时满足；同一节点上多于 M 块磁盘甚至所有磁盘发生故障，相当于节点故障，与
12、任意故障的磁盘数无关联。（3）纠删码 vs 多副本对比如表 4 所示，本文通过存储节点数量及空间利用率这两个性能指标对多副本和纠删码这两种容错机制进行了对比。多副本：M 副本，M=24，空间利用率为 1/M，任意74技 术 交 流技术交流随着企业 IT 架构的云化发展，分布式将取代现行中心式的架构，分布式计算、网络以及存储以及新的运维管理架构将成为未来技术的首选，同时我们也应该适时的考虑应用侧的改造。本文抛砖引玉对分布式存储的分类、技术及保障机制进行了分析说明，如何真正意义上实现向分布式架构的改造，充分发挥分布式的优势及性能才是运营商的最终目的。参考文献1 孙斐然.基于云计算环境的分布式存储关
13、键技术研究 J.中国新通信,2022,24(01):34-35.2 丁凡.分布式系统的故障管理与应用动态重构 J.信息技术与信息化,2022(03):77-80.3 刘洋.分布式块存储系统负载均衡技术研究与实现 D.华中科技大学,2016.4 徐光伟，史春红，冯向阳，等.基于多级网络编码的多副本云数据存储 J.计算机研究与发展,2021,58(02):293-304.5 张耀，储佳佳，翁楚良.纠删码存储系统数据更新方法研究综述 J.计算机研究与发展,2020,57(11):2419-2431.（收稿日期：2023-01-05）允许故障的磁盘数或节点数为（M-1）。纠删码：N+Mb，空间利用率为
14、N/（N+M），允许任意同时故障的磁盘数为 M，或允许任意同时故障的节点数为 b，推荐的最小节点数为 b（N+M）/M+b。无论多副本还是纠删码在设备选型时每个节点的硬盘数量和单盘容量建议相同，因为如果不同的话，就会出现水桶的短板效应，两个节点，一个节点配置 8TB 硬盘，一个节点配置 6TB 硬盘，8TB 硬盘只能当 6TB 硬盘用。应用中，如何选择还要结合具体的业务场景。性能要求高的关键业务，一般采用副本。如视频，影像存储等海量存储场景可以采用纠删码，提高存储系统利用率，对象存储系统中，索引池可以使用副本策略，而数据池可以采用纠删码，达到降低成本目的。6 分布式存储发展定位分布式存储应用越
15、来越广泛，对标传统集中存储在生态方面仍存在一些不足，但随着 SDS 技术的发展，相信在不远的将来，分布式将确立在存储界的统治地位。表 5从可靠性，性能、效率、生态四方面展示了传统集中存储和分布式存储的现状，以及未来分布式存储的发展趋势。7 结束语表 5 指标对比及未来发展定位类别传统集中存储分布式存储现状分布式存储发展趋势可靠性模块级端到端校验、故障盘、慢盘、误码盘、链路检测与容错处理简单的 CRC 校验逐步支持各种故障及亚健康检测与容错系统级RAID、快照多副本、快照支持跨节点复制系统级缓存在线更换全量重构支持增量重构方案级同异步复制、双活、三中心简单复制逐渐支持双活、复制等容灾方案性能网络
16、FC/IP/IB 网络GE/10GE/56GS100G/25G时延稳定时延 1 ms平均时延 35 ms时延缩短效率重删压缩、分级存储暂无支持重删压缩生态虚拟机VMware、Hyper-V、KVM、Xen支持 VMware、KVM 的基础对接逐渐完善备份软件兼容 NBU、Network 等主流备份软件支持少量备份软件逐渐完善管理软件VMware、微软、HP支持 OpenStack平台管理逐渐完善表 4 容错机制对比冗余方式存储节点数量空间利用率双副本 350%三副本 533.3%4+21 3*66.7%6+21 575%4+22 866.7%8+21 680%8+22 1280%10+21 783.3%10+22 1483.3%16+11 1894.1%16+42 1280%16+44 2480%
