85

存储极客丨Scale-Out与全闪存似乎天然配对儿

 6 years ago
source link: http://www.10tiao.com/html/575/201806/2655817263/2.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

Scale-Out的分布式系统为何离不开SSD/全闪存?如果没有闪存,Scale-Out为什么就让人感觉火候不太够?而Scale-Out的出现,除了得益于闪存助力,还有什么其他因素么?本文冬瓜哥就来分析分析。


本文组织

①  Dell EMC XtremIO X2简介

②  说说Scale-Out架构与全闪存


Dell EMC XtremIO X2简介


2018年5月1日,Dell EMC在Dell Technologies World宣布了最新的计算和存储产品。



戴尔在5月8日宣布了对XtremIO X2的一些重要改变,XtremIO X2在其软件中添加了新功能(提供了将变化数据复制到目标系统的复制方式),这将减少在进行本地复制时传输的数据量。戴尔还宣布,未来版本的XtremIO X2将支持NVMe SCM。

 

Dell EMC的XtremIO X2为一款具备横向扩展能力的全闪存阵列。其相比上一代XtremIO的提升如下图所示:



每个阵列单元称之为X-Brick。每个X-Brick单元可配置18~72个SSD。



上图为XtremIO X2全闪存阵列X-Brick模块外观图。每个X-Brick高度为1U,分别由Storage Controller、DAE(SSD扩展柜)、UPS电源组成,每个控制器为1U双路服务器,每个X-Brick配置了4个16Gb光纤通道端口、4~8个10GbiSCSI端口、4个56Gb Infiniband端口(每Controller配置2个)以及2个1Gb的管理端口。



下图所示为XtremIO X2的X-Brick架构。每个控制器运行了一个定制化的轻量级的Linux内核——XIOS。为了获取最高的性能,I/O处理模块直接运行在用户态,直接操作底层硬件。节点间互联采用基于Infiniband网络的RDMA方式。



XtremIO X2已经在实验室环境中实现了8个X-Brick(16个节点)甚至更大的集群,Dell EMC估计也会很快提供8个X-Brick配置的阵列。从理论上看,8个、16个X-Brick和32个X-Brick并没有区别,但是涉及到很多测试和实际应用场景,即客户当前是否需要这么大的容量和性能。

 

X-Brick具有非破坏性XIOS软件及硬件升级、拥有高可靠性的热插拔升级,且不存在着单点故障。集群化的XtremIO X2阵列中各个X-Brick可以拥有不同存储容量;集成了VMware VAAI、VMware多通道I/O支持,数据分卷能够夸整个系统;拥有丰富的数据保护功能。


XtremIO X2全闪存阵列将数据分为4KB的散列块,这些4KB的散列块完全打散,不按照逻辑地址进行排列存储,而是根据物理位置进行安置。如下图所示:



数据天然带有指纹hash,这也是XtremIO X2实现重复数据消除的基础。



其他一些产品也使用了类似策略,但是其数据存储方式一般都是基于逻辑地址,时间久了之后不可避免的就会产生磁盘碎片化,从而对性能产生影响。XtremIO全闪存阵列的策略则是将数据彻底的打乱完全碎片化,基于4KB的数据块通过指纹来识别、存储、管理等。一方面可以实现全局磨损均衡,另一方面可以让重复数据消除变得非常容易。


XtremIO的数据保护机制XDP,通过双阶数据引擎避免了RAID5、RAID6的写放大外,达到了RAID6的保护效果。



说说Scale-Out架构与全闪存


分布式系统的发展有三个技术条件,分别为:高速网络、大容量硬盘、固态介质。这三者彻底解放了分布式系统的生产力。通俗一点说也就是:网络快了、盘容量大了、盘速度快了。


高速网络

高速网络是分布式系统赖以生存的根本,分布式存储系统早在上世纪中后期就已经形成了理论基础,但是一直到近几年,网络的时延和带宽才足以支撑分布式系统架构。


大容量硬盘

为了降低成本,业界兴起所谓软件定义,也就是利用廉价白牌机或者标准的机架服务器,加上分布式存储软件管理层,搭建出软件定义分布式存储系统,与传统的SAN存储系统瓜分市场。


固态介质

而分布式系统的大行其道,极大的促进了固态存储的需求量,因为为了成本考量,分布式系统中每个节点往往不会连接多级JBOD从而靠大量的硬盘形成高并发性能,而是只靠每个服务器自带的少量盘位,加上固态盘来抵消跨网络通信带来的时延增加,形成让传统机械盘系统望尘莫及的IOPS和时延性能。


所以,Scale-Out与固态盘可以说是天然的一对儿,固态存储系统用于Scale-Out分布式系统是非常自然的一种需求。 


点击“阅读原文”了解更多数字化转型方案


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK