腾讯云原生数据湖存储服务能力再上新,三级加速体系助力企业用数赋智-品玩

腾讯云原生数据湖存储服务能力再上新,三级加速体系助力企业用数赋智-品玩业界动态

腾讯云原生数据湖存储服务能力再上新,三级加速体系助力企业用数赋智

　　随着数据价值被越来越多企业认可,数据湖存储已成为企业级存储的首选和新一代提升生产力的服务。12月1日,在2022腾讯数字生态大会存储专场,腾讯云升级了云原生数据湖产品能力,并详细阐释了其设计理念,对其在多个行业的应用进行了案例分享,为更多企业提供降低存储成本、提升存储性能的实践参考。

　　当下,数据的生产、存储和消费模式日新月异,  随着数据的爆发式增长,在数据存储和管理方面的降本增效成为企业亟待解决的问题。

　　腾讯云存储高级产品经理林楠认为,“市场需要一个更大、更快、更全能、更低成本的存储服务。数据湖存储在应对多样化、多源化数据存储需求,应对多协议兼容和敏捷性服务等方面,均能满足企业构建统一存储服务的需要,是企业级存储的未来形态。“

　　顺应这一趋势,腾讯云于2021年发布了国内首个云原生数据湖存储产品图谱,并推出了基于对象存储服务的数据湖三级加速体系。

　　在设计理念方面,腾讯云原生数据湖三级加速体系秉承了统一存储的思路,其底层存储基座使用了腾讯自研对象存储服务,单集群可管理百EB级别文件,在此基础上组合元数据加速器、AZ加速器和数据加速器GooseFS等多种高内聚、松耦合的数据加速服务,以实现性能和成本的整体优化与平衡。

　　具体而言,该体系通过数据加速器GooseFS,实现近计算端的缓存加速服务,降低超过50%的对象存储访问带宽;通过元数据加速器,提供原子性的文件系统语义操作,实现元数据操作性能10倍提升;通过AZ加速器,提供  Tbps 级海量吞吐和毫秒级的响应。同时,以三者的灵活组合应用,以应对不同业务场景。

　　此次大会上,腾讯云原生数据湖存储实现了性能的再升级,以更灵活的可插拔服务和更具性价比的解决方案,助力企业上云,用数赋智。

　　在实际使用过程中,该体系展现了优秀的性能和成本优化能力,例如,使用GooseFS +  COS的组合,相较于本地HDFS集群部署可实现20%的性能提升,同时利用对象存储服务海量、低成本的优势,实现了更高性价比的数据存储。此外,腾讯云原生数据湖三级加速体系还打通了腾讯云生态,企业客户可以依托腾讯云构建完整的企业级数据治理方案,实现数据要素的快速流转和价值发现,提升企业竞争力。

　　通过数据湖三级加速体系,腾讯云成功服务了多个行业客户,助力其将本地大数据存储迁移到公有云上,并由此获得成本上的收益和性能上的提升,促进客户数据业务的稳步增长。

　　以某音乐客户的实践为例,腾讯云原生数据湖存储帮助其真正实现了按需存数和按需用数,客户不用按峰值准备资源,存储成本直接减少18.4%。同时,通过GooseFS就近计算节点的缓存能力,业务侧也减少了对底层存储的读写带宽,最高实现了50%的平均带宽降低。

　　在另一自动驾驶客户的实践中,针对AI 训练场景,客户使用 GooseFS 加载 TFRecord 文件加速模型训练。根据训练结果显示,使用  GooseFS 可以达到理论性能上限的 95.6% ;对于原始小文件平均提速19.2%。

　　此次数据湖三级加速体系的能力更新,是腾讯云存储在云原生数据湖领域的新探索与构建。未来,腾讯云存储也将持续推动云原生数据湖技术的发展和落地,为广大企业提供更快、更全能、更低成本的存储服务,助力各行各业释放数据价值,加速迈向数字化。