2

大数据焦点：全链路数据治理、湖仓一体、存算分离、离在线混部等新技术探索与实践丨DA...

 2 years ago
source link: https://dbaplus.cn/news-152-4703-1.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

大数据焦点：全链路数据治理、湖仓一体、存算分离、离在线混部等新技术探索与实践丨DAMS峰会

DAMS 2022-08-09 09:23:37
全球数字化带来的海量数据，给企业的数据存储和分析带来了越来越不可忽视的挑战。随着各行各业纷纷借力云计算技术，许多困难已逐渐得以克服，但如何从中挖掘出更实用、即时和可访问的商业智能隐藏的巨大潜力，仍需要我们不懈地上下求索。为此，第八届DAMS中国数据智能管理峰会特别精选以下大数据领域热门议题，将于10月14日在上海与大家一起进行深度探讨。


DAMS中国数据智能管理峰会
20220809092701424.jpg

时间：2022年10月14日地点：国家会展中心上海洲际酒店（上海市青浦区诸光路1700号）指导单位：上海市软件行业协会、上海市计算机行业协会、中国信息通信研究院云计算与大数据研究所主办单位：dbaplus社群

大数据主题看点

  • 京东、网易、携程、B站、唯品会、快狗打车等互联网名企，以及平安、光大、汇丰等大型银行，都在探索哪些大数据新技术应用？

  • 背负越来越沉重的海量数据，如何踏上实时且灵活的高速列车？

  • 如何在合规、高效、可重用的前提下，充分发挥数据价值？

  • 如何建设面向未来的数据仓库与数据湖，以及两者融合的湖仓一体架构？

  • 云时代下，如何通过存算分离、离在线混部等设计，满足高并发、高可用、高性能的需求？



演讲嘉宾及议题

京东OLAP云原生&存算分离实践

京东 OLAP团队负责人 李阳

云时代下，如何提供可快速交付、弹性伸缩的OLAP服务，并满足高可用、高性能诉求？本次将分享京东OLAP在此背景下遇到的问题与相关实践经验，具体包括以下内容：

  1. OLAP云原生建设思路；

  2. 存算分离选型与落地；

  3. 智能化运维实践。



网易严选全链路数据治理实践

网易严选 数据总监 左琴

介绍网易严选在数据治理的方法论和落地实践，通过对整个生命周期的数据、任务、服务组件的治理 ，保障数据稳定、高质量地进行生产，并推进整体资源优化，以及大数据平台的演进，具体包括以下内容：

  1. 如何提升数据体系的可观测性、可运维能力以及稳定性；

  2. 如何更高效、低成本地进行数据治理，发现和减少数据系统的腐化问题。



云原生离线在线资源混部技术落地

携程 研发总监 周昕毅

介绍基于K8S平台进行离线计算集群与在线应用集群的资源混部的技术方案，具体包括以下内容：

  1. Yarn on K8S；

  2. 云原生网络模型；

  3. 统一资源调度；

  4. 大数据平台自动化运维管理。



平安集团数据中台体系建设实践

平安科技 副总工程师 姜欣

平安集团建设数据中台的目的，一方面是整合内外数据能力，形成合力更全面立体高效地赋能全业务；另一方面是建设合规高效的数据管理及运营体系，加强对数据资产的管控和治理，保证数据使用的合规安全。本次分享内容具体如下：

  1. 当前数据合规管理的现状和问题；

  2. 解读国家和监管法律法规对责任主体，在数据确权、数据资产管理、数据使用方面的要求；

  3. 基于合规底线框架，如何构建企业数据管理和运营体系，高效促进数据要素的流动；

  4. 数据管理和运营体系需要哪些技术平台支撑，如何设计规划。



光大银行实时数据仓库应用实践

光大银行 大数据平台运维负责人 侯强

介绍光大银行大数据平台的发展历程，具体包括以下内容：

  1. 初期规划、发展现状、未来计划；

  2. 金融行业数据仓库如何建设既满足业务需求，又符合金融要求的应用实践。



数据湖和增量计算在唯品会的实践

唯品会 数据平台负责人 王新春

数据湖技术可大大提高数据的时效性，降低冗余数据的存储。基于此，唯品会探索利用Hudi做增量计算的各种场景，大幅度降低ETL的存储和计算资源消耗，分享具体包括以下内容：

  1. 数据湖Hudi落地的相关技术和迭代改进；

  2. 增量ETL流程如何依赖数据湖相关技术落地。



湖仓一体在bilibili的演进之路

哔哩哔哩 OLAP平台负责人 李呈祥

湖仓一体是近年非常火的趋势，如何保持湖的灵活性，同时提供仓的高效分析效率，是一个亟待解决的问题。本次分享主要介绍bilibili在OLAP平台上遇到的挑战，以及湖仓一体的架构设计，具体包括以下内容：

  1. 湖仓一体架构的好处；

  2. 如何基于Iceberg建设湖仓一体架构；

  3. 在数据分布、索引、预计算等多方面增强优化，提升数据分析效率，降低分析成本的实践经验。



数据赋能决策：构建可重用的数字资产

汇丰软件 数据工程主管 李昂

了解数据在企业中是如何关联的，才能将数据转化为可重用的数字资产，并生成可操作且有价值的见解，本次分享主要以汇丰为例，具体包括以下内容：

  1. 实体解析作为其中的关键，是确定多个记录是否引用相同的现实世界事物的过程；

  2. 实体解析从内外部来源获取多个不同的数据点，并将它们解析为一个唯一的实体；

  3. 有了唯一的实体，企业就可以使用这个结果来关联不同数据，增强或自动化决策，进而更快、更准确地识别和做出各种决策。



实现数据价值最大化的新一代数据编织架构

丹诺德软件 华东区业务总监 周剑魂

主要介绍一种新型的数据纺织架构，帮助企业摆脱传统数据管理及消费模式的束缚，释放更多生产力，分享具体包括以下内容：

  1. 如何利用元数据逻辑架构搭建的最新一代数据中台，使数据贴近数据源进行计算、消费及实时呈现相关数据报表；

  2. 企业如何利用便捷的数据分享方式，打通行业上下游的物理瓶颈，达到数据协作的功效；

  3. 如何最大化实现数据的内在价值。



快狗打车数据仓库建设与演进之路

快狗打车 数据仓库团队负责人 申琦

快狗数据仓库经过多年建设迭代，积累了丰富的落地经验，本次分享将会和大家一起交流快狗数据仓库的技术建设和未来演进方向，具体包括以下内容：

  1. 数据仓库的技术架构选型；

  2. 数据仓库如何更精细化地管理企业数据资产；

  3. 数据仓库如何更好地赋能企业业务发展；

  4. 如何做好面向未来的数据建设。

*更多大数据主题演讲嘉宾及干货议题在路上，持续更新……

峰会议程
20220809092516365.png
报名方式

20220809092506569.png

早鸟优惠，码上报名

点这里了解峰会更多详情及报名


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK