22

物联网时代存储告急 边缘存储如何缓解存储压力?

 3 years ago
source link: https://mp.weixin.qq.com/s?__biz=MzU1OTgxMTg2Nw%3D%3D&%3Bmid=2247494895&%3Bidx=1&%3Bsn=979dd10af2b3c39ea2ffdb549045a9d7
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

r2yuyuQ.png!mobile

云妹导读:

随着物联网技术与 5G 网络的快速发展,千行百业正在迅速联网化,随之带来的数据量将变得不可估量,存储空间恐将告急,海量数据在哪里分析,在哪里存储,成为相关从业者亟待解决的问题。大家开始寻找新的存储解决方案,边缘存储由此而生。

VFNZvmY.png!mobile

提起边缘存储,就不得不提到中心存储。“边缘”和“中心”是一对相对概念。传统云计算架构下,存储集群是部署在云服务厂商中心机房的。如京东智联云在全国有北京、上海、广州、宿迁四大数据中心,把存储集群架设在这些数据中心,并通过网络对外提供存储服务,就是中心存储,也就是传统的云存储服务。

如果把存储集群,部署在中心机房以外的区域,也通过网络提供存储服务的,都可以叫做边缘存储。而我们在选择边缘存储部署位置时,会有一定的倾向性。

举个例子,如果我们来存放华北某二线城市里汽车行车记录仪录制的视频,我们肯定会优先选择在这座城市的某个地方部署 一个边缘存储服务, 不会选择在北京部署。原因很简单,同城上传显然优于异地上传。而如果必须选择在北京部署,还不如直接使用京东智联云的中心存储服务,不需要费事再搭一套边缘存储了。 存储集群靠近数据产生地,是边缘存储的一个 重要 特点。

qmaeE3.png!mobile

相对于边缘存储而言,我们如果选择中心存储,有一些问题是不好解决的:

首先,如果我们的业务会在短时间内产生大量数据,这些数据如都需要存下来,那么我们至少要保证数据的上传速度是大于数据产生速度的,否则数据会在本地不断积压,再大的本地缓存也不够。这种对上传响应延时非常敏感的场景,就不太适合把数据存到中心存储了。

其次,当同时产生数据的终端数量非常多时,我们就需要一个非常大的上传总带宽,才能满足高并发上传的需求,而中心机房的带宽是非常昂贵的,成本问题也可能导致我们舍弃中心存储。

最后,一些极端场景需求。如果有监管方面的强制要求,数据只能存放在自建机房,不能存在第三方云厂商的机房里;或者产生数据的终端是在一个局域网中,不通外网,这些情况就肯定无法考虑中心存储了。

边缘存储的部署地点非常灵活,我们可以利用这一特性来规避中心存储的以上问题。如果业务对上传响应延时非常敏感,就把边缘存储部署到离数据产生地最近的位置,甚至可以和业务部署到同一个机房,保证最大的上传速度。如果业务需要一个非常大的总带宽,我们就可以选择带宽成本较低的机房,或者通过部署到本机房或拉通专线,使流量从高成本的公网流量变成零成本的内网流量。

下面,我们 从带宽成本、响应延时、数据安全性几个方面,对边缘存储和中心存储两种方案进行对比

E73a6zU.png!mobile

NNZrQbv.png!mobile

细看边缘存储与中心存储对比的几大优势,我们会发现私有云存储也同样拥有。但私有云存储是完全独立部署的,与中心存储没有关系,而边缘与中心是可以互通的,主要体现在以下几个方面:

1. 元数据可以存储在中心。用户的上传操作可以通过智能调度,上传到最优的边缘节点。而在下载时,用户不需要关心文件存在中心还是边缘节点,由中心自动调度到资源所在的节点;;

2.  数据可以同步到中心。私有云存储如果遇到集群容量不足的情况,只能通过扩容,增加机器的方式来解决,而 边缘存储可以将重要的数据同步至中心,从而实现弹性扩容 。考虑这样一种场景:业务产生的大部分数据在存储一定时间后是可以删除的,而也有少量的重要数据,如日志文件等,是需要长期保存的。虽然需要长期保存的数据量小,但从长时间看,总有一天会遇到容量不足的情况。这种场景下边缘存储比私有云存储是有突出优势的;

j6NZ7fM.png!mobile

在我们身边,视频监控无处不在,有商店、银行等商业监控设施,还有违章监控、电子停车等公共监控设施,甚至有行车记录仪、家用摄像头等个人监控设施。每时每刻都会产生大量的视频数据,如果要把监控数据集中存储,比如一个城市的违章监控数据、一个厂区的视频监控数据,就是一个对上传响应延时非常敏感、总带宽非常高的存储场景。

如果使用中心存储方案,存储架构将如下图:

rU3i2qe.png!mobile

视频监控中心 存储方案▲

由于中心存储方案上传依赖公网,公网带宽成本高、响应延时敏感的痛点暴露无遗。

而如果使用边缘存储方案,存储集群可以部署到视频处理集群所在机房,从视频处理集群到存储集群不再依赖公网:

mI7FBzU.png!mobile

▲视频监控边缘存储方案▲

综上所述,视频监控场景大概是最适合边缘存储的场景了。随着物联网的迅猛发展,在边缘产生的数据将越来越多,由此产生越来越多的边缘存储和边缘计算需求和场景。

欢迎大家通过工单或京东智联云客服 400-615-1212(7*24 小时),联系我们使用京东智联云边缘存储。

RjaQ7v7.png!mobile

2qiUj2N.jpg!mobile

RfMb2e7.png!mobile

JZRb6ja.png!mobile

JZ7v63Q.gif!mobile

aeiYvuy.gif!mobile


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK