数据中台建设思考

Owen Jia 2023年07月26日 17次浏览

对其起源不是很清楚，推测与阿里有关系，他们首先提出的。近些年来看，阿里对这个领域推进不是很积极，加上又拆分，后续真不好说。

数据中台，这块业务方向是有价值的，不然也不会有很多人响应。我真正进入该领域是2022年，偶然机会加入了数据中台团队，早在2013年我有数据仓库在银行信贷领域的经验，也算是步入老本行。

在这近1年的时间里，发现（起码是我们目前的团队）大家对‘数据中台’的理解本质还是‘数据仓库’，加了WEB界面加以控制。数仓领域，数据模型和ETL是核心业务，中台里‘数仓’是其很重要的一部分，但不仅仅是数据仓库。

数据中台，还包括‘元数据管理、数据源、数据标准、数据建模、数据质量、调度、数据地图、数据服务、数据管控、数据血缘、多源比对’等业务。这其中，数据建模、数据服务、调度是数据主业务流程，数据质量、数据地图、数据血缘、多源比对更多是一个辅助业务流程，价值相对次之。

一年时间看着不短，其也不长，将将够把’数据质量‘玩透。调研了市面竞品不下20家，大版本迭代也近5轮，基本形成了较为标准的产品体系，经历多场景客户实际运行认可。客户的认可，对整个团队起到非常大的鼓舞。

数据质量的核心逻辑，是检查数据内容是否满足要求，将发行的问题反馈给对应人员修正，检查对象主要是’数据库‘。

整体功能设计：

产品VS项目

写点项目与产品的感悟，过往多年一直在产品化的路线上奔跑，而如今在一个项目部的团队中，这里考核重心是“成本、资源、时间“，对于”标准化“是认可但融合遗忘。

简单点，选择加入产品团队，对个人来说也许是低成本的。但对于产品、项目的合作模式的探索来说，这只是逃避，问题还在那。也许有些公司不存在此类问题，路已经趟过，但我目前面临的是一个’产品化方向‘不明阶段，需要借助项目实施来积累摸索一条产品化之路。离不开，项目实施经验，或者说真实客户的需求场景。

遇到几个问题：

数据中台本身也契合’数字化‘的大趋势。