8

日新增 40 PB 数据背后,字节跳动是如何探索云数据库技术的?丨字节跳动技术沙龙

 2 years ago
source link: https://juejin.cn/post/7068583680733610014
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

日新增 40 PB 数据背后,字节跳动是如何探索云数据库技术的?丨字节跳动技术沙龙

2022年02月25日 09:55 ·  阅读 6333

数据库技术一直是 IT 信息技术中极其重要的一环,在步入云原生时代以后,分布式数据库系统获得了令人振奋的发展,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。

字节跳动的核心技术理念是数据驱动敏捷开发,截至 2021 年 12 月 2 日,字节跳动数据仓库数据总量已经达到 9500 PB 的规模,每天新增 40 PB 数据,指标数超过 27000 个。在这样的海量数据规模下,要求数据平台具有很高的数据准确性、一致性和稳定性。

业务种类繁多;数据存量太多,成本居高不下;业务增速快,诉求不断变化的挑战,对字节数据库底层技术能力带来了更高的要求。如何设计一个面向未来的、云原生化的数据库系统?字节自研的数据库有何不同之处?未来云数据库的发展方向又在哪里?这是本期《字节云数据库架构设计与实战》技术沙龙将要分享的核心问题。

本期字节跳动技术沙龙免费报名通道现已开启,戳这里即可报名

字节跳动数据库的过去、现状与未来

讲解字节跳动数据库的发展历程,介绍字节数据库产品矩阵;剖析数据库演进过程中的多项驱动因素,展望未来数据库产品、技术体系。

  1. 了解字节跳动数据库发展的过程;
  2. 了解字节跳动数据库产品矩阵的特点;
  3. 了解发展过程中主要的产品、技术驱动力因素。

张雷 字节跳动基础架构数据库资深工程师

2019 年加入字节跳动,拥有 10 多年的数据库存储研发经验,目前负责基础架构数据库(RDS、veDB、ByteDoc 等)、对象存储 TOS、大数据存储 HDFS 等产品的研发和运营运维工作。

从单机到分布式数据库存储系统的演进

在传统的数据库产品里,目前单机数据库仍是主力,但随着用户数据量和数据库访问压力暴增,传统的单机数据库日渐乏力。在字节跳动探索分布式数据库的过程中,存储系统自然也面临从单机到分布式的演进。本次演讲会给大家解析字节自研数据库背后的分布式存储系统,分享大型数据库存储系统的演进和实践经验。

  1. 了解通用的数据库存储模型;
  2. 了解字节自研分布式存储的架构和技术;
  3. 了解分布式存储如何服务分布式数据库。

马浩翔 字节跳动基础架构数据库开发工程师

毕业于美国 Northeastern University,毕业后加入字节跳动基础架构团队,担任数据库开发工程师。他主要关注分布式数据库、高性能计算和存储技术。在加入字节跳动后,持续参与云原生分布式数据库开发,负责高性能存储组件和数据库领域前沿技术探索。

veDB (for MySQL) 的计算引擎实践及挑战

veDB (for MySQL) 是一款分布式数据库,采用了云原生计算存储分离架构,完全兼容 MySQL 8.0,目前该产品已在字节内部大量上线,并即将亮相火山引擎公测。本次演讲会给大家介绍这款分布式数据产品计算引擎构建的过程,面临的典型技术问题及解决方案,最后还会谈一谈产品未来的一些发展方向。

  1. 了解计算存储分离架构;
  2. 了解计算存储分离架构下,分布式数据库构建面临的一些技术问题;
  3. 了解字节典型业务对于分布式数据库的诉求以及对应解决方案。

聂愿愿 字节跳动基础架构数据库开发工程师

毕业于武汉华中科技大学,有 10 余年的数据库内核开发经历,曾供职于 IBM/Teradata/华为,2019 年加入字节跳动基础架构团队,目前负责 veDB (for MySQL) 技术方向及所在团队。主要关注分布式数据库、分布式存储技术方向。加入字节跳动后,从无到有参与构建了 veDB (for MySQL) 产品,并已在字节内部大量上线应用。

字节云数据库未来发展方向的探索与实践

互联网数据存储的信息量爆发式增长和新硬件技术 AEP+RDMA 的大规模商用给云数据库发展带来了新的机遇和挑战。本次演讲将介绍字节内部数据库系统在未来发展方向的探索和实践。包括 multi-master 架构、HTAP 系统的发展与演进以及新硬件 AEP+RDMA 在数据库系统上的使用探索,以及未来产品方向。

  1. 了解字节云数据库系统未来几个发展方向;
  2. 了解字节云数据库从单写到 multi-master 架构的演进;
  3. 了解 AEP+RDMA 新硬件在数据库方向的使用方式;
  4. 了解如何通过 HTAP 数据库构建一站式数据平台。

刘辉聪 字节跳动基础架构数据库开发工程师

毕业于中国科学院计算技术研究所,曾供职于百度,一直从事分布式数据库研发工作。2019 年加入字节跳动基础架构团队,担任数据库开发工程师。主要关注分布式数据库、分布式存储技术方向。加入字节跳动后,参与构建了 veDB (for MySQL) 产品,负责计算引擎相关的研发工作。

掘金发.jpg

字节跳动技术沙龙,是由字节跳动技术社区 ByteTech 发起的,面向全行业开发者的技术交流活动。通过搭建一个包容、开放、自由的交流平台,促进前沿技术的普及与落地,帮助技术团队和开发者快速成长。字节跳动技术沙龙的技术分享来源于字节跳动一线技术专家,针对热点技术方向和实践总结,为技术团队和开发者呈现一场场可供参考的技术盛宴。

免费报名链接

www.bagevent.com/event/80497…


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK