3

千亿对象是存储一统的关键吗?

 2 years ago
source link: http://www.dostor.com/p/80733.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

千亿对象是存储一统的关键吗?-存储在线

当前位置:存储在线 > 新闻 > 正文

话从7月20日XSKY 星辰天合“千亿对象 一’桶’江湖”发布会说起。

这里说的千亿对象,指的是最新发布的XEOS V6对象存储的能力,1桶支持1000亿+对象。目前多数产品只有1桶10亿+左右。

xs1-1.jpg?x-oss-process=image%2Fquality,q_50%2Fresize,m_fill,w_1024,h_575

XSKY星辰天合首席技术官王豪迈

1桶1000亿+的含义

先要说明一下桶是什么?我们可以简单把对象存储理解为C盘,桶就相当于目录,对象就相当于目录下的文件。

与我们所熟悉的文件夹管理(NAS)不同,对象存储没有树状架构的多级目录,采用的是浅目录的结构,所有文件都存在一个目录下,或者桶中。C盘可以多个桶,但是桶中不可以再有桶。

现在问题来了:我们1桶存储1000亿+对象?还是分为100个桶,1个桶存10亿+数据,有什么分别吗?

以公安卡口监控探头视频数据为例,是把所有的数据不分时间、不分探头,全部数据存在一个桶里,还是按照时间或者探头编号进行划分,分为多个桶进行存储呢?

对象存储的价值

不知道大家想过没有:从NAS到对象最大区别是什么?其实关键不在如何存储,关键在于数据检索和使用。

      在NAS中,我们可以按图索骥,按照目录结构查找我们要的文件或者图片、音视频;但是在对象存储中,文件一股脑存在根目录下,从1000亿+对象中,我们该怎么找到想要的数据呢?其实也很简单,就是依靠管理工具提供的检索能力。在对象存储应用中,需要对每个存储的对象添加各种索引信息((也称为标签)),被称为元数据。当我们查找数据的时候,通过元数据检索就可以找到我们需要的数据。

如此一来,我们其实可以把NAS中的文件目录结构转化为索引加以记录,完成从NAS到对象存储的转变。

对象存储之所以备受追捧,在7月20日发布会上,XSKY 星辰天合更是将其称为主存储,我认为非常方便的数据检索能力是主要的原因。举个例子“千人千面”的例子,“千人千面”其实可以理解为各种标签的不同组合,用于支持不同目的的业务应用具体到标签添加,内容就是由业务需求来确定的。

畅想一下:如果对每个公安卡口视频进行人脸识别,对涉及其中人、车辆等进行标注,在打拐、追逃等很多场景,这些数据会发挥巨大的作用。

为什么不是100桶1000亿+

如果说对象存储的实际价值在于数据应用,那么对于底层的存储方式:是1桶1000亿+,还是100桶1000亿+,这有分别吗?

1桶1000亿+来自行业用户实际需求,理由无外乎减少应用软件修改。

但是对厂商而言,1桶1000亿+的技术难点在于元数据管理,容易导致性能瓶颈,影响业务应用的稳定运行。简单说,1桶1000亿+还是需要一定的技术保障的。

实际上,数据库应用也曾经面临类似问题,当数据达到一定规模之后,检索时间就会变得漫长,不能够满足业务需求。对此,数据采用了分库分表等应对办法。与100桶1000亿+有些类似。

XSKY星辰天合首席技术官王豪迈指出:作为对象存储产品供应商,应该有能力帮助用户简化应用,有存储技术手段解决问题,避免对应用的影响和干扰,也只有这样,才能够加速对象存储技术应用和普及。

除了1桶1000亿+之外,XEOS V6还设计了很多的增值应用,如QoS、桶快照、WORM(不可变存储)、桶复制等,为数据生命周期管理、数据保护提供支撑解决方案。

小结

这都是问题的关键。黑猫、白猫,抓住耗子就是好猫,对象存储也是如此,1桶1000亿+也好,100桶1000亿+也罢,凡是有助于数据应用的技术就是好技术,也是影响对象存储技术应用的关键。对吗?


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK