7

数据产品经理应该如何构建数据仓库?(下)

 3 years ago
source link: http://www.chanpin100.com/article/115335
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

数据产品经理应该如何构建数据仓库?(下)

数据产品经理应该如何构建数据仓库?这篇文章我们将介绍最后两个内容,对于构建数据仓库来说也是非常关键的。接下来,我们一起看看,要多多思考哦,这样才能完全理解。

数据产品经理应该如何构建数据仓库?这篇文章我们将介绍最后两个内容,对于构建数据仓库来说也是非常关键的。接下来,我们一起看看,要多多思考哦,这样才能完全理解。

产品经理
1.数据分享层

有了DWD、DWM、DWS三层数据,难道就能满足所有需求了吗?很明显,存在下列需求三层体系结构无法满足:

一般情况下,大多数数据需求都可以直接从DWS层获取,但总会有一些DWS层无法支持的需求,此时需要DWS层数据,或从DWM、DWD数据进行计算以满足需求;

数据的使用我们讲究实时性,三层资料一般都储存在一些相对便宜的储存媒体,例如使用实时储存,这显然是不能满足我们分析查询的实时性要求的,需要把实时性要求的数据载入此层以支持实时查询取得。

总之,数据共享层的作用是支持三层体系结构不能满足的需求,以及改善数据库性能,对外提供统一的服务。

2.数据的实时需求

三层架构不能满足实时计算的要求,因此需要一种数据实时同步实时计算的架构,通常的做法是将数据源通过kafka实时同步到计算引擎,然后由sparkstreaming或flink等计算引擎计算结果,并存储在诸如hbase等高效查询数据库中。

构建数据仓库的内容分享完了,一共是三篇文章,大家可以系统性的看看,一定要弄懂这些内容哦,这样才能正确高效的构建数据仓库。产品经理们不要松懈,这是一个竞争力很大的行业,所以大家要不断充电。

以上就是“数据产品经理应该如何构建数据仓库?(下)”的内容了,如果你还想了解其他相关内容,可以来产品壹佰官方网站。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK