天翼云王琢:天翼云HBlock存储资源盘活系统的实践

天翼云王琢:天翼云HBlock存储资源盘活系统的实践-存储在线

数字经济时代，数据正呈现爆炸式的增长。有数据表明，近6年来中国数据增量年均增速超过30%。如此快速增长的数据，离不开相应的存储设备提供支撑。传统集中式存储受性能天花板的限制，难以满足海量数据存储的需求。分布式存储以Scale out(横向扩展)为特征，正成为海量数据存储的首选，这已经成为业内的普遍共识。

时间进入2023年，分布式存储又向何处去呢？哪些场景、业务创新会成为新的突破口呢？如何帮助传统产业更好应对海量数据增长和数据创新的挑战？2023年3月10日，由百易传媒（DOIT）主办、上海市计算机学会与上海交通大学支持的第六届分布式存储高峰论坛(Distributed Storage Forum 2023)于线上举行，十多位业界专家、厂商代表与近万名观众就时下热点关注的话题进行分享、互动和交流。

天翼云国际业务事业部解决方案工程师王琢应邀出席本次高峰论坛，并发表主题演讲。以下内容根据速记整理。

王琢：我是天翼云国际业务事业部解决方案工程师王琢。很高兴通过这次机会与大家分享《天翼云HBlock存储资源盘活系统的实践》。后面在我的介绍中，我会将这款产品简称为HBlock或者HBlock产品。

存储资源盘活是由天翼云在业内首先提出的概念。通过部署HBlock，客户可以纳管散落在局域网内的存储资源，将之整合为统一的存储资源池，并通过标准的iSCSI协议向外提供高性能的块存储服务。

下面我将从以下四个方面来对HBlock作展开介绍。

在第一部分中，我将结合过往的客户需求、当前的存储产品发展趋势来说明当前HBlock是如何帮助客户解决问题的。第二部分中，我将从产品特性、产品架构、实操展示、竞品比对等方面对HBlock做详细的介绍。在第三部分中，我将介绍HBlock四个典型的应用场景。在第四部分，我将通过一个车联网的应用案例介绍过往的HBlock最佳实践。

现在开始进行第一部分的介绍。

典型需求与趋势

结合现有商机运作情况，部分客户出于成本的因素考虑，希望自己所购入的服务器资源能够被充分的利用，但往往事与愿违。

在一些项目中，由于业务规划不够细致，出现了较多硬盘空跑、CPU内存利用率长期低于30%的情况，也有一部分客户，服务器使用多年后，即将退出服务的时间节点找到我们，希望能够将这些服务器再利用，构建一个新的块存储资源池。

还有一部分客户，因为公司规定、成本等因素，希望能够解除存储产品的供应商绑定，在项目的运作上更加灵活，并在成本与性能之间获得一个最佳的平衡点。传统存储建设周期较长，基建赶不上业务发展，也是这部分客户的痛点所在。

近年来，部分巨头先后提出了ESG战略，国内也一直在强调碳中和、碳达峰以及节约集约、绿色低碳等发展理念。为了配合双碳战略，企业也需要对基础设施做一定的修改以及优化。

随着开源社区、存储软件的发展，各个厂商用户都倾向于从过往的集中式存储转向分布式存储。从扩展性、性能、数据冗余、底层硬件、成本方面，分布式存储是存储当下以及未来的发展趋势。当然，在一些典型的应用场景，例如金融核心生产数据库，集中式存储依然靠其底层高速光纤交换以及定制硬件等特点，依然在发光发热，且目前不能被替代。

在上述需求下，HBlock以软硬件解耦，灵活的申领散落的硬盘空间和理论上无上限规模等三个特点，较为契合地解决了客户所遇到的上述问题。

HBlock存储资源盘活系统

在简单介绍客户需求和存储发展趋势后，下面我将展开介绍HBlock存储资源盘活系统。

HBlock存储资源盘活系统，是天翼云为客户提供的一款分布式存储管理软件，产品具有绿色安装、部署便捷、性能稳定可靠、数据安全、成本可控等几大优势。

HBlock存储资源盘活系统，通过标准的iSCSI协议提供块存储服务，将通用的服务器及其管理的存储资源转换成高性能的虚拟存储阵列，承载企业的业务。由于HBlock是通过标准的iSCSI协议来提供块存储服务的，所以HBlock在虚拟化、备份数据、影像存储、应用程序等场景，均可发挥企业独特的作用。

HBlock具有以下五大特征以及及其核心优势：高可用、高性能、低成本、广泛兼容及数据安全。

在服务的高可用方面，天翼云实现了多路径的“一主多备”，一个Target宕机之后，HBlock会智能选择备用的Target，调度的时间是可以进行配制的，默认时间为6秒钟。

在数据的高可用方面，单存储卷可以灵活的选择EC纠删码或者副本的方式实现数据的冗余以及数据的不丢失。

在绝对指标层面，在实验室测的全SSD环境下，单卷IOPS可达15万IOPS，延迟可以低于200微秒。

在规模层面，HBlock软件设计理论值为无上限，但根据过往的实践，一般建议集群的规模上限为1024个节点。

在成本方面，因为HBlock本身的售卖方式为纯软件售卖，可以部署在通用硬件上。所以整体上HBlock的TCO会更低。同时，因其安装方便，运维直观，相关的人力成本、时间成本都会更低。

HBlock为用户态设计的软件，不切入内核，所以HBlock不挑底层的硬件与OS。

在数据安全方面，用户在添加Target 连接时，可以选择启用CHAP认证。在数据的传输过程中，用户也可以选择性的开启IPSec隧道，保证传输数据的加密。

从信创的角度和自主可控的角度，HBlock是天翼云全栈自研的分布式存储产品。从整体架构上，Target方面，HBlock是以“一主多备”的方式保证服务的连续性。HBlock通过算法，智能选取最佳的阶梯Target。

另外，HBlock的设计思想为去中心化，我们建议不同的存储卷挂载到不同的Target后面。这样从整个集群的角度，是多节点对所有的存储设备进行读写。一方面充分利用了集群内的带宽，另一方面也防止出现热点，同时提高了集群的可用性。

HBlock为绿色、用户态、非侵入系统内核的应用。其主要体现在用户使用HBlock产品时不需要Root权限。在没有写竞争业务存在时，HBlock可以和其他应用共存，无需独占数据目录。在软件配制中，用户可以自由的定义HBlock占用数据目录的预制。

由于HBlock的存储资源盘活的设计理念，HBlock在设计之初就考虑了弱算、弱网、弱盘环境下的数据完整性以及服务连续性。HBlock集群本身不依赖NTP时钟。同时，通过算法的智能调度，灵活的实现PKI故障节点，避免业务热点、存储降级等现象的发生。

HBlock还具有管理多样、运维简易的特点，用户可以通过API、web控制台以及命令行操作三种方式来实现HBlock的集群管理。这非常便于用户快速理解和使用HBlock。

HBlock也支持故障预警，当系统中的组件或者资源出现异常时，系统将自动发送告警邮件通知用户。

下面我将通过大概5分钟的实操来展示HBlock的敏捷性。

首先查看一下HBlock安装包的大小，可以看到HBlock安装包的大小约为170兆。

通过按unzip命令将HBlock的安装包进行解压。完成解压缩后，将进入刚才已经解压出来的目录，确认三台节点解压工作都已经完成。

下一步，通过install命令，在三台服务器上完成HBlock节点的安装。可以看到，整体安装耗时大约为10秒钟。

安装完成之后，用一条setup命令将三台服务器进行纳管。整体纳管以及初始化的时间将花费大约1分半。在输入完密码之后，整体的初始化进程开始（我将跳过这一段等待时间）。

可以看到，当前的初始化进程已经结束。

这一部使用target add命令将HBlock-1和HBlock-2两个节点生成主备target。

在target-01搭建完成之后，我们在target-01后面创建一个EC 2+1卷，此卷的大小为20个GB。

现在，存储卷已经创建完毕。

下一步，我们通过iscsiadm命令，发现并连接刚才所创建的Target-01。

连接完成后，可以看到，mpatha已经被挂接到了此主机上。通过mkfs.xfs来格式化mpatha。通过blkid命令可以看到，mpatha已经被格式化成xfs格式。

下一步我们通过mount命令，将mpatha挂载到/mnt目录下。通过lsblk命令可以看到，挂载已经成功。

下面我们将HBlock的安装包复制到/mnt目录下，观察是否成功。

到现在为止，操作已经完成。大家已经有一定的体感，在过去的大概3分钟时间内，我们已经完成了集群的安装、初始化、Target的创建、卷的创建以及卷的挂接和卷的格式化以及挂载。

在通过操作展示HBlock产品的敏捷性之后，大家可以在此页面概览HBlock产品参数，不再赘述。

对比市面上流行的传统分布式存储软件，HBlock依然具有其独特的优势。HBlock安装简单，其安装包仅有170兆左右；整体集群，从建立到使用仅需要3-5分钟，同时，HBlock不依赖NTP服务器，而传统分布式存储软件的安装则需要大量的准备工作。

HBlock的软硬件需求比较低，与支持Linux的任何x86和ARM硬件兼容，没有设备驱动兼容性的问题。HBlock为用户态进程，不依赖内核版本，纯自研。

HBlock的硬件资源利用率比较高，可以与其他应用程序同时在同一Linux操作系统实例中运行，允许集群中的每个实例都具有不同的硬件配制，仅需要3GB内存即可启动。同时，HBlock的可用性比较高，支持秒级故障切换。

在详细介绍完HBlock产品之后，我将展开介绍HBlock的四个实践场景。

四个实践场景

场景一：绿色、灵活调配空闲存储资源

我将用一个POC实例来介绍场景。在此POC实例中，大家可以看到，客户的磁盘利用率都非常低，客户也不希望投入额外的成本购入新的服务器来搭建存储集群。同时，叠加了低碳政策的要求，利用了HBlock的特点，不仅充分利用了空闲的存储资源，也充分的利用了空闲的计算资源和内存资源，将空闲的服务器整合成了高性能的虚拟存储阵列，满足了客户的需求。

场景二：构建私有云存储底座，灵活纳管各类服务器。

在底层服务器性能优异、网络带宽足够的情况下，HBlock是可以替代传统SAN存储的。HBlock支持VMware、OpenStack、Kubernetes、KVM等主流虚拟化平台。在访问接口层，上层平台将通过API的方式来管理HBlock集群，实现存储卷的创建、删除以及HBlock集群的监控等目的，各个虚拟机通过iSCSI协议灵活的挂接存储卷，最终实现一套系统、统一存储的建设目标。

场景三：助力平安城市建设，高效支撑视频监控存储

HBlock天然与视频兼容有很强的兼容性，或通过前端的NVR挂在Hblock iSCSI卷，或通过视频管理平台统一接入，HBlock都能无缝的支持视频存储场景。

HBlock支持副本、纠删码、分级冗余保护，提供PB级存储容量，数百GB聚合带宽，满足省、市城市的视频监控存储需求。

场景四：构建第二存储，保证用户数据安全。

客户可以通过HBlock搭建第二存储，实现备份容灾、归档数据等目的。

最后一部分，我将会通过讲解车联网项目Pilot来展示HBlock过往的最佳实践。

案例分享

此项目Pilot，某车联网项目因车路云一体化，数据存储空间不足，需要建立新的分布式车联网存储底座。同时，基于双碳政策，此存储底座被要求需要能够复用当前的空闲服务器并跨MEC部署。HBlock的特性完全适配客户需求，能够满足项目中结构化数据以及非结构化数据的存储、分析的目的。

在此项目Pilot中，客户得到了以下收益：

通过快速部署，运维方便的特性，客户节约了很多的时间、人力成本；复用了数台空跑的服务器，达成了客户的减碳理念。同时，客户通过HBlock建立了强健的统一块存储底座，高效支撑各类应用。

我今天的演讲就到这里，很欢迎大家与我交流，谢谢！