5

ZB时代,企业如何为数据“场景化”定制存储?

 3 years ago
source link: http://www.d1net.com/storage/enterprise/568862.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

ZB时代,企业如何为数据“场景化”定制存储?

责任编辑:zhaoxiaoqin |  2021-01-22 11:45:41 原创文章 企业网D1Net

2020年新冠疫情席卷全球,使各国经济受到巨大打击,然而数字经济表现出了极大的韧性与顽强的生命力。数字经济加速推进5G、人工智能(AI)、物联网等相关技术在各行业的快速发展,数据已成为企业的关键性生产要素和战略资源。据权威机构预计,2020年全球数据量达到47ZB,到2035年,将达到2142ZB。

企业需要收集来自生产、研发、销售、营销等各个环节的数据,它们有结构化的也有非结构化的,同时要对数据不断加工、分析成企业决策、业务增长的驱动力。这对企业传统的数据架构带来了极大的挑战。正如西部数据公司技术及战略总裁Siva Sivaram博士所言:“企业最大的挑战在于如何从数据中获取最大的价值,西部数据能带来的最大价值是提供一种基础架构能以安全的方式存储和访问数据。”

20210122114648889.png
西部数据公司技术及战略总裁Siva Sivaram博士

存储领域摩尔定律失效了么?

摩尔曾提出:“在价格不变的前提下,集成电路元器件数量每18个月翻一番,性能提升一倍。”而2000年以后,我们明显看到在CPU领域摩尔定律的效果已经放缓。在存储领域,SSD大行其道的今天,闪存也会面临同样的困境么?Siva Sivaram博士表示:“传统的思想是计算主导了数据架构。但随着摩尔定律的放缓,在计算和DRAM的组合中专用的架构随处可见,根据不同的应用负载采用专用的架构,不论在搜索、视频还是数据库的加速上都看到了这样的做法。但在计算和DRAM的组合中,却无法快速减小晶体管的尺寸,同样DRAM的密度也不能迅速增长。而在闪存领域中,摩尔定律是鲜活、有伸展力的。”

“闪存领域存在两种新的扩展方式,一种是在物理尺寸上,可以在X轴、Y轴、Z轴三个方向扩展,这就是3D NAND的模式;另一种是逻辑的扩展,在同一晶体上的4-bits-per-cell(X4)甚至是X5……效能提升实现闪存的快速扩展。”

西部数据存储治理:“三分法”架构

20210122114954428.png

企业快速增长的数据除了对容量的需求,还需要更快的存储效率、更低的延时、更高的IO、带宽、以及更的维护及管理成本,同时也要符合绿色、环保的社会责任。根据企业对数的不同需求、不同应用场景,西部数据也提出了“三分法”的存储治理架构。

分层法:

西部数据公司高级副总裁兼中国及亚太区总经理Steven Craig

在企业的数据中心沉淀了大量的数据,同时也存在着需要经常访问的应用与文档。因此存储要根据数据的访问频度划分为:极热存储、热存储、温存储、冷存储和极冷存储。西部数据公司高级副总裁兼中国及亚太区总经理Steven Craig表示:“通过对不同特性的数据进行相对应的分层存储,从而满足数据存储在容量、性能、成本及能耗等方面的多样化需求。”

西部数据公司副总裁兼中国区业务总经理刘钢

极热数据需要高频繁的读写,需要存储拥有极高IOPS和带宽需求。 西部数据公司副总裁兼中国区业务总经理刘钢表示:“极热存储可以用DRAM或内存即存储的截介质SCM,通过这些介质满足极热存储的需求。”

在数据库以及OLTP、DSP、自动驾驶的应用场景下,需要对数据频繁读写,在针对这种热存储层面可选择Ultrastar DC SN840 。SN840 NVMe SSD具有双向16通道,在重度读写以及数据中心对关键业务尤其是在线数据库的访问上可充分满足用户的需求。

针对温数据存储,西部数据提供了Ultrastar DC SN640这类主流SSD以及主流HDD。刘钢指出:“ 在固态硬盘大规模普及以前,很多用户采用PE HDD,但目前PE HDD价格完全没有优势。在顺序读取速度上面,PE HDD与SSD有10倍差距。市场份额上,PE HDD每季度在以13%的速度下降。在数据中心,SN640 NVMe SSD更适合满足混合工作负载的需求。”

冷存储可采用大容量的企业级HDD Ultrastar DC HC550。采用更大容量的硬盘将提升企业数据中心的容量密度。刘钢表示:“2020年,主流容量点已经从14T增长到16T。2020年年底主流容量已经从16T转向18T。18T将成为2021 年的主流硬盘容量。这样,用户可大幅降低TCO,容量密度提高29%,每TB功耗降低21%,由此部署成本降低了11%,总体拥有成本降低了17%。“

极冷存储可用HDD Ultrastar HC650。HC650已经支持到20TB,单碟容量达到2.2TB。具有很好的顺序读取性能,更加适合做“写一次反复读”的操作。

分区法

在物联网场景下,数据的流动将是由大量终端向边缘计算、以及云上,以更高效的方式使用存储设备解决海量数据的存储问题。刘钢表示:“当固态盘容量越来越大之后,对固态盘进行分区会保证固态盘在被多重访问时性能不受影响,保证持性能续、稳定,同时经过新的算法处理后,降低总体拥有成本(TCO)。”

西部数据发布了全球第一款支持ZNS的NVMe企业级固态硬盘Ultrastar DC ZN540 ZNS NVMe SSD,其配备双NVMe端口,可用于双控存储系统,标准U.2尺寸封装最大容量达8TB,并具有更高的效率,利用率和可扩展性,同时降低了公共和私有云基础架构的总拥有成本。

分解式架构法:

AI的兴起也让计算架构出现了很大变化。不仅有CPU,还有GPU、DPU、FBGA等辅助计算的单元,因此存储也将随着这种变化发生改变。刘钢认为“存储系统通过开放可组合兼容的分解式架构、资源的池化来应对这种变化。”

通过OCCL(OPEN COMPOSABLE COMPATIBILITY LAB)解耦式架构,将内存和I/O与CPU剥离,可增加内存和I/O的扩展性应对不断增长的系统规模。将计算核心的服务器被分解为DPU、GPU、FPGA、Memory、Flash、Disk、Tape等器件与CPU内存的资源组合,将这些硬件资源通过虚拟化技术根据不同场景进行组合,需要的时候提供服务,不需要的时候返还给资源池,从而实现资源的弹性分配。用户将精力放在业务的创新,而不用关注底层存储采用何种技术,系统会根据业务特点选择不同组合,实现存储资源和效率的最优。

通过OpenFlex Data24 NVMe-oF平台,可以把24块Ultrastar DC SN840 NVMe SSD装在这个系统里面,让数据中心更多的服务器可以共享高性能的固态盘提供的资源池。

加强合作 赋能伙伴

西部数据看到“新基建”所带来的旺盛需求进一步加强了与业内合作伙伴的合作。Steven Craig表示:“西部数据与诸多行业领先的云数据公司开展了合作。包括打造了上海实验技术中心——集顶尖的研发测试工程师及客户应用场景相契合的硬件设备为一体,更好地配合企业级及OEM客户的产品进行测试来加快上市时间。”

作为一家向电信、金融、高端制造业提供落地的解决方案的存储软件解决方案提供商杉岩数据而言,“能否把硬件的性能’榨干‘到极致,就是我们的价值。”CEO陈坚这样表示。“我们对市面上各个品牌的SSD多做了很多测试,我们挑选SSD时,不仅在乎性能,更多的还要看性能的一致性,否则就会伤害客户还要为硬件背锅。”

“我们对硬件的的要求是极致的性价比,如单盘的容量要大,单机柜的存储容量密度要大。我们采用西部数据JBOD的方案,把NVMe的SSD的资源进行池化,为用户提供真正高密度、很高性价比、PB级的IPFS存储的解决方案。”

降低存储成本也是云存储企业核心竞争力的体现。 UCloud系统工程师周庆表示:“对数据进行分层存储,从而有效降低数据存储和管理成本。2020年8月,UCloud针对冷数据正式发布了新一代归档存储产品,采用了UCloud自研的存储架构,应用于多媒体归档、历史数据据合规性归档以及大数据/AI分析数据归档这三大类型,相较标准存储降低近80%的存储成本。”

“UCloud新一代归档存储在国内率先采用了西部数据的高密JBOD机型和SMR盘为存储底层提供硬件支持。与36盘传统机型相比,采用高密机型SMR盘后,单位机架的存储容量提升5.375倍,硬盘数量增加59%,单块硬盘存储空间提升150%。”

写在最后:

随着中国数字经济的快速发展,各行业对存储的需求也日趋旺盛。应用场景的多样化不断促使企业对数据存储治理由粗放转向精细。我们看到这些繁琐的精细管理西部数据通过分层、分区、分解式架构不断帮助用户优化存储效率、降低存储成本,并保持可持续的技术演进,与客户不断成长,帮助企业赢得数据智能的先机。

喜欢  分享到:


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK