Hero Image
Kafka 2.3 集群部署

基础概念 Broker(节点) 一个kafka节点就是一个broker,一个集群包含多个broker Topic(主题) 信息类别,kafka根据topic对消息进行归类 Producer(生产者) 信息生产者,采用push模式向broker发送消息的一端,Producer可以发布到一个或更多Topic,并且可以选择用于存储数据的Partition Partition(分区) 一个Topic包含一个或者多个Partition(类似于es的分片),Producer能决定将消息推送到Topic的哪些Partition,并且producer能直接发送消息到对应partition的Leader处 某个topic中的某个partition同时只能有一个Consumer消费 Consumer(消费者) 信息消费者,采用pull模式从broker中读取消息的一端,Consumer可以使用一个或多个Topic或Partition Consumer Group(消费组) 每个Consumer属于一个特定的Consumer Group,topic会复制到各Consumer Group,但该Consumer Group中只能有一个Consumer能够消费该消息 replication(副本) Topic的备份,消息以partition为单位分配到多个server,并以partition为单位进行备份,replication有leader和follower两种类型,leader提供服务,follower复制数据 leader 负责跟踪所有的 follower 状态,若Topic下的某个分区的flower比leader落后了太多或超过特定时间未发起数据的Pull求,则leader将其重ISR中移除 每个Topic下的每个分区的leader维护着与其基本保持同步的Replica列表,该列表称为ISR 复制类型: 同步复制: 只有所有的follower把数据拿过去后才commit,一致性好,可用性不高 异步复制: 只要leader拿到数据立即commit,等follower慢慢复制,可用性高,立即返回,一致性差 Commit: 是指leader告诉客户端这条数据写成功了(kafka尽量保证commit后若leader立即挂掉,其他flower都有该条数据) 在Producer端可以设置究竟使用那种同步方式: request.required.asks= 0 相当于异步,不需要leader给予回复,producer立即返回,发送就是成功 1 当leader接收到消息之后发送ack,丢会重发,丢的概率很小 -1 当所有的follower都同步消息成功后发送ack. 丢失消息可能性比较低 segment partition物理上由多个segment组成,同一个topic下有多个不同partition,每一个partition为一个文件夹,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1 offset offset用于在partition内部唯一标识一条消息 Rebalance(重平衡) Consumer Group内某个Consumer 故障后,其他Consumer自动重新订阅topic的过程 API(接口) Kafka 有四个核心API,它们分别是: Producer API: 它允许应用程序向一个或多个 topics 上发送消息记录 Consumer API: 允许应用程序订阅一个或多个 topics 并处理为其生成的记录流 Streams API: 它允许应用程序作为流处理器,从一个或多个Topic中消费输入流并为其生成输出流,有效的将输入流转换为输出流 Connector API: 它允许构建和运行将 Kafka 主题连接到现有应用程序或数据系统的可用生产者和消费者(关系数据库的连接器可能会捕获对表的所有更改) 集群部署 集群规划 节点ip