5

华为高俊霞:全闪存数据中心构建安全绿色数据基础设施

 2 years ago
source link: http://www.dostor.com/p/78747.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client
华为高俊霞:全闪存数据中心构建安全绿色数据基础设施-存储在线
当前位置:存储在线 > 技术 > 正文

11月23日,由百易传媒(DOIT)主办,中国计算机学会信息存储专委会、中国计算机行业协会信息存储与安全专委会、华中科技大学武汉光电国家研究中心、固态技术协会(JEDEC) 等机构支持,主题为“数据觉醒”的“2021(十七届)中国数据与存储峰会”在线上召开。

峰会为期三天,包括一场主论坛、九场技术论坛、五十余场演讲。知名院士、专家学者和产业领袖一起共同探讨存储创新与数据觉醒等热点话题,首日吸引各界专业人士10万人次观看,参与互动。

2021112307312533.png华为数据存储与机器视觉产品线全闪存营销VP高俊霞

在今天下午的主论坛上,华为数据存储与机器视觉产品线全闪存营销VP高俊霞以“全闪存数据中心,构建安全、绿色数据基础设施”为题,发表演讲。全文如下:

大家好,很高兴今天和大家一起分享华为对于数据基础设施的心得和体会。我今天分享的题目是《全闪存数据中心,构建安全绿色数据基础设施》。

华为存储一直引领全闪存数据创新,致力于闪存普惠

首先让我们一起回顾华为对于全闪存的发展.

2008年的时候,华为发现业界开始用SSD颗粒来替代传统的机械硬盘,所以我们压强投入,到2010年,我们诞生了业界首批企业级SSD盘。它是一种更快、更可靠的介质。我们不满足于单独一个盘,所以2011年的时候,我们发布了业界首批Tier0全闪存。为什么是Tier0呢?因为它是一个性能极快的,但是没有任何企业级特性的存储,所以一般应用于我们的数据加速。

经过了6年的投入和研发,到2016年华为发布和业界首批Tier1全闪存。我们将全闪存应用于主存储市场,它不单单是快,而且具有丰富的企业级特性。这个时候的全闪存,硬盘普遍采用基于SAS的协议,所以叫SAS SSD盘。SAS协议是适配机械硬盘的一种协议,所以它成为束缚SSD颗粒的瓶颈。

2018年,华为发布了业界首家全系列NVMe全闪存,我们将全闪存的时延进一步的降低。到2019年,我们发布了业界唯一基于全互联架构的高端全闪存存储,这个时候全闪存不单单具有丰富的企业级特性,而且再承载用户核心应用方面具有全面的领先能力。

全闪存市场是刚需,但当前全闪存市场占比仅43.7%,中国仅24.7%

华为一直助力于闪存普惠,今天我们全闪存已经成为市场的刚需,有业务的需求,有绿色节能的需求,我们刚刚经历了双11的促销,大家看到,由于双11这样的一个电子商务的发展,金融行业高峰期的交易量,从每秒3000笔提升到每秒30000笔,这个时候的存储,机械硬盘是无法承载的。

再比如说运营商Billing的出账时间,已经不满足于之前的10小时,运营商希望在3.7小时内完成,所以业务加速全闪存应用。

2021112401300995.png

其次,绿色节能已经成为数据中心建设的主旋律,要降低整个存储的功耗,乃至降低数据中心的功耗,我们发现机械硬盘的耗能是全闪存的3倍,所以我们要加快SSD盘替代机械硬盘的步伐。

我们发现全球市场闪存占比已经达到43.7%,而在中国这个数字今天只有24.7%,仍然有非常长的发展历程,我们需要加快,让我们的全闪存从SSD加速到主存储到全闪存数据中心。

2010年华为第一代Tier0全闪存存储关注于单点的技术设计,关注于SSD硬盘性能的发挥,所以它具有高性能的硬件,但是没有任何增值软件,只能用于加速场景,不能用于主存。到2015年,随着企业级特性全闪存的诞生,全闪存已经全面应用于主存储的产品。这个时候,我们开始关注产品级的设计,重点关注系统的可靠性,关注它丰富的企业特性,有没有数据保护能力,有没有QoS能力。

只有具备了丰富的特性,具备了高可靠性设计的全闪存,才能真正的应用于我们的主存储。

重构IDC架构,全闪存数据中心全面释放闪存潜能

到2021年的今天,随着数字化转型的加快,随着用户业务对于IT系统性能的要求,随着绿色节能的发展要求,全闪存正在向数据中心全面推广,这个时候我们开始关注数据中心级的设计,要全面释放闪存的潜能,不单单是系统,还包括网络,包括整个数据中心资源的规划等等。

四大变化,全面激发全闪存数据中心的潜能释放

我们发现四大变化正在全面激发全闪存数据中心的潜能释放,这四大变化包含什么呢?

2021112401313360.png

第一大变化,全场景的闪存普惠。全闪存已经从主存储,从核心业务,发展到非结构化数据的通用存储、文件存储,乃至发展到备份存储。全场景数据的存储应用,达到绿色节能的效果。

第二大变化,数据中心开始关注数据保护,从原来单维的一个备份系统到今天多维的数据保护,我们开始关注数据保护的性能,我们开始关注我们所保护的数据类型和数据量,关注所能保护的数据的范围,保护对象,还有保护的等级,在多长的时间内能够恢复业务,在多长的时间内能完成备份,我们能够存储多长时间的数据。

第三大变化,多元融合的管理。在整个数据中心里,要从单一的存储开始到整个数据中心的存储管理,那如何合理的规划我们的应用和存储资源的匹配,如何规划我们的应用和数据保护资源的匹配,如何进行合理的调优,如何随时进行资源的调配,所以我们开始关注整个数据中心的融合存储管理。

最后我们建设更高速的存储局域网,将传统的SCSI协议变成更快、更低时延的NVMe协议,充分释放全闪存的性能。

拥抱变化,构建安全绿色的全闪存数据中心

所以今天我们要拥抱变化,构建安全绿色的全闪存数据中心。华为全闪存数据中心解决方案涵盖了方方面面,涵盖了全场景的闪存化,从核心存储到通用存储,从结构化存储到非结构化存储,涵盖了全场景的数据保护,从容灾到备份乃至到归档,全链路的数据保护,那么从存储到存储局域网,由原来的光纤交换机变成今天支持NVMe协议的RoCE交换机,实现了全IP的数据中心网络;从单台存储设备的管理到整个数据的存储资源的管理,要实现数据全生命周期的自动化,从规划到建设到维护到优化,这样的一个数据中心是绿色节能,是安全可靠,是极简运维的,所以我们也把它称之为全场景、全生命周期、全IP。

我们首先来看全场景的闪存化,我们要从关键核心业务到通用业务到文件业务,全部将机械硬盘变成SSD硬盘,系统的性能提升40倍,灾备效率大幅提升,整个数据中心的电力能耗降低73%,整个空间占用节省50%,这样的一个数据中心是节能的,这样的一个数据中心是高效的。我们做过一笔计算,完成一块SSD硬盘的替换,相当于植树150棵。

SSD硬盘已经不能满足我们用户的业务需求了,我们需要更快的介质,更低时延的介质,所以下一步我们要开始发展SCM,当然它和SSD硬盘的发展历程几乎类似,我们会首先将SCM应用于我们的数据加速,应用于全闪存领域的加速,让性能达到30%的提升,时延降低50%。

接下来我们会将SCM应用于整套存储系统,建设一套全SCM的存储。这个时候的性能,再一次提升30%,时延再一次降低50%,所以主存的闪存化需要SCM的加持,需要更低的时延。

容灾的闪存化也是我们的一个方向,原来的备份系统它是一个静态的,不是随时可用的系统,今天我们要将这套备份系统演变成生产中心,让两个数据中心达到双活的效果,当然,第二个数据中心也需要一套高可靠的存储,以达到当生产中心A故障的时候,马上无感知的接管。

热数据全容灾,我们还需要做温数据热备份,原来备份只能备份我们的核心业务数据,用户不太关注备份的时间窗,因为数据量较小,往往在规定的时间内是可以完成的,但是今天我们的备份范围已经从结构化数据到非结构化数据,备份的数据量从PB级到EB级,这个时候备份时间窗将成为一个重要的指标,如果在用户规定的时间内,不能完成备份,那么将会对第二天的生产业务造成极大的影响。

所以要建设一套高效的备份系统,让备份时间从小时级变成分钟级,以满足我们EB级数据备份的需求,满足非结构化数据备份的需求。

那么高性能的备份当然需要高性能的介质,这样的投资我们需要充分的发挥,所以我们让备份的数据热起来,让备份的副本即时可用,让它能够应用于用户的数据挖掘、开发测试等等,让备份数据也热起来。

对于长久保存的数据,我们有三级存储介质的解决方案,主存用电、备份用磁、归档用光,通过三级存储介质的数据分层,达到长期数据保存的目的,当用户需要的时候,我们可以从冷数据或者温数据快速的将数据恢复到热数据层,以达到访问时间大大缩短、分钟级访问时间的目的。

全场景的数据保护:保护数据更广、业务响应更快、留存时间更久

我们进行了一个加速,那么我们需要规划更广的保护对象,从生产核心,从结构化数据,到开发测试,到非结构化数据,有了更高效的备份系统,这些都已经可以实现。要让备份的业务系统响应更快,所以要做双活的容灾,用户有需求的时候,我们可以建立三个数据中心的容灾,也可以建立灾备上云的解决方案,备份的力度更加小,更加细粒,业务恢复的时间更短,即使是灾备上云也可以做到5分钟内在云内完成业务的恢复,所以对用户的灾备响应来说,他的响应会更快。

202111240132427.png

基于电、磁、光三级架构的备份归档设计,我们让数据的留存时间更久,留存可以达到30年到50年,整个归档时间段内可以做到防篡改、防病毒,是一个高安全的归档。

全场景闪存化驱动全生命周期数据管理自动化,提升运维效率

这样的一个数据中心,它已经不单单是一套存储系统了,已经覆盖了从SAN到NAS,从主存到备份,从生产到数据保护,这么多的资源,如何做到管理自动化,是我们的建设目标。我们要根据客户业务的负载进行评估,帮助客户规划更加匹配、更加性价比好的资源,既要满足用户的性能诉求,同时要做到投资最低。根据用户的数据的安全重要性来制定他的保护策略。

这些过程都是可以自动化的,都有编排的目录可以随用户自动选择;在运维过程中如果发现故障,能够及时的发现并且分析最终定位,做到防患于未然,主动发现,主动维护。

在资源使用的过程中,我们可以进行优化,进行变更,可以将浪费的资源回收,将积聚的资源发放给更重要的业务区。

所以全场景的闪存化也在驱动我们做全生命周期的数据管理自动化,提升们数据中心的运维效率。

全IP数据中心网络,释放闪存性能潜力,简化运维管理

这个运维效率当然也包括存储局域网,原来的FC网和我们的以太网是两张网络,所以用户的管理是两套网络的管理。随着SSD介质的发展,我们发现FC网络已经成为束缚系统端到端时延的一个瓶颈,所以需要更低时延的协议,满足我们的需求。

基于NVMe over RoCE协议,正好达到了简化运维、提升性能、降低时延的效果。华为采用了增强型NOF网络,与我们的交换机进行了强强联合,不单单实现了成本的降低,实现了统一的管理,而且实现了比传统专用网络更高的性能,更好的易用性。

可靠性也是不可忽略的,所以我们做到故障的秒切,做到网络的即插即识别即用。

华为OceanStor服务全球15000+客户,遍及各大行业

2021112401333255.png

这样的数据中心正在广泛的被客户采纳。全球已经有超过1.5万个NA客户采用华为的存储,我们也很欣喜地发现,已经有很多客户开始部署全闪存的数据中心,比如同仁医院等等。

总结

华为存储引领绿色节能、高效可靠的全闪存数据中心。

华为全闪存数据中心具有四大能力,全场景的闪存化、全场景的数据保护、全场景的自动化数据管理、以及高速的数据中心网络。这一切都来自于持续创新,我们的目标是助力我们的客户数字化、智能化的转型,加快客户的智能化转型。

好,我今天的分享就到此结束,谢谢大家。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK