5

Kafka的架构

 1 year ago
source link: https://blog.51cto.com/u_15130867/6020717
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

Kafka的架构

精选 原创

執孒の掱,與 2023-01-20 15:07:28 博主文章分类：大数据 ©著作权

文章标签 缓存 数据 编程语言 文章分类 其它 大数据 yyds干货盘点 阅读数220

Kafka的架构_缓存

Kafka的整体架构非常简单，是显式分布式架构，producer、broker（kafka）和consumer都可以有多个。Producer，consumer实现Kafka注册的接口，数据从producer发送到broker，broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。broker的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。客户端和服务器端的通信，是基于简单，高性能，且与编程语言无关的TCP协议。几个基本概念：

  1. Topic：特指Kafka处理的消息源（feeds of messages）的不同分类。
  2. Partition：Topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。
  3. Message：消息，是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。
  4. Producers：消息和数据生产者，向Kafka的一个topic发布消息的过程叫做producers。
  5. Consumers：消息和数据消费者，订阅topics并处理其发布的消息的过程叫做consumers。
  6. Broker：缓存代理，Kafa集群中的一台或多台服务器统称为broker。
  • 2赞
  • 2收藏
  • 评论
  • 分享
  • 举报

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK