0

Doris 基础知识

 1 year ago
source link: https://blog.51cto.com/u_15867943/6005314
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

Doris 基础知识

精选 原创

Apache Doris 是一个高性能、简单易用、支持实时的 MPP 架构分析型数据库。

一、MPP 架构

Doris 基础知识_数据分析

全称 Massively Parallel Processor,翻译过来就是大规模并行处理

在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上

每台数据节点通过专用网络或者商业网络互相连接,彼此协同计算,作为整体提供数据库服务

非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势

MPP 是将任务并行的分散到多个服务器和节点上,在每个几点计算完成后,将各自部分的结果汇总在一起得到最终的结果

MPP 是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果(和 Hadoop 相似),仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析

二、OLTP、OLAP

联机事务处理 OLTP On-Line Transaction Processing

操作型处理,主要目标是做数据处理,针对具体业务在数据库联机的日常操作,通常对少数记录进行查询和修改

传统的关系型数据库系统(RDBMS)作为数据管理的主要手段,主要用于操行型处理

联机分析处理 OLAP On-Line Analytical Processing

分析型处理,主要目标是做数据分析,针对某些主题的历史数据进行复杂的多维分析,支持管理决策

数据仓库是 OLAP 系统的一个典型示例,主要用于数据分析

M OLAP,基于多维数组的存储模型,特点是对数据进行预计算,空间换效率,明细和聚合数据都保存在 cube 中

R OLAP,完全基于关系模型进行存储数据,不需要预计算,按需即时查询,明细和汇总数据都保存在关系型数据库事实表中

H OLAP,混合模型,细节数据以 R OLAP 存放,聚合数据以 M OLAP 存放,这种方式相对灵活,且更加高效

三、Doris 概述

Apache Doris 是一个现代化的基于 MPP 大规模并行处理 技术的分析型数据库产品,可以满足多种数据分析需求

例如:固定历史报表、实时数据分析、交互式数据分析和探索式数据分析等

基于 MPP 架构的分析型数据库

性能卓越,PB 级别数据毫秒/秒级响应

支持标准 SQL 语言,兼容 MySQL 协议

高效的聚合表技术

新型预聚合技术 Rollup

高性能、高可靠、高可用

极简运维,弹性伸缩

四、整体架构

Doris = Google Mesa + Apache Impala + ORC 列式存储

Doris 整合了 Google Mesa 数据模型,Apache Impala MPP Query Engine 和 Apache ORCFile 存储格式、编码和压缩技术

MySQL Tools(MySQL Networking) -> FE (Follower,Java) + FE (Leader,Java) -> BE (C++) + BE(C++)

FE Frontend 即 Doris 的前端节点,以 Java 语言为主,主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

BE Backend 即 Doris 的后端节点,以 C++ 语言为主,主要负责数据存储、查询计划的执行

五、总结

Doris 使用 MPP 引擎驱动的 ROLAP 模式,可以简化模型设计,减少预计算的代价,并通过强大的实时计算能力,可以支撑良好的实时交互体验

Doris 是一个 ROLAP 引擎,可以满足 灵活多维分析、明细 + 聚合、主键更新

一般用于数据处理后半段,存储处理完的数据,给前端提供实时查询

  • 2
  • 2收藏
  • 评论
  • 分享
  • 举报

上一篇:Sqoop基本原理


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK