Kafka

• 笔记

如何选择Kafka Topic的分区数

在kafka中, topic的分区是并行计算的单元. 在producer端和broker端, 可以同时并发的写数据到不同的分区中. 在consumer端, Kafka总是将某个分区分配个一个consumer线程. 因此同一个消费组内的并行度 …

• 笔记

Kafka的消息可靠传递

Kafka提供的基础保障可以用来构建可靠的系统, 却无法保证完全可靠. 需要在可靠性和吞吐之间做取舍.

• Kafka在分区上提供了消息的顺序保证.
• 生产的消息在写入到所有的同步分区上后被认为是已提交 (不需要刷到硬盘). 生产者可以选择在消 …

• 笔记

Kafka发送不同确认方式的性能差异

背景

Kafka的性能众所周知，Producer支持acknowledge模式。即Kafka会想Producer返回消息发送的结果。但是在Java Client中，acknowledge的确认有两种：同步和异步。 同步是通过调用 …

• 笔记

Kafka消息消费一致性

Kafka消费端的offset主要由consumer来控制, Kafka降每个consumer所监听的tocpic的partition的offset保存在__consumer_offsets主题中. consumer需要将处理完成的消息的 …

• 笔记

Kafka 恰好一次发送和事务消费示例

核心思想

• 生产端一致性: 开启幂等和事务, 包含重试, 发送确认, 同一个连接的最大未确认请求数.
• 消费端一致性: 通过设置读已提交的数据和同时处理完成每一条消息之后手动提交offset.

生产端

public class …

• 笔记

恰好一次发送和事务消息(译)

Kafka提供“至少一次”交付语义, 这意味着发送的消息可以传送一次或多次. 人们真正想要的是“一次”语义,因为重复的消息没有被传递。

普遍地发声重复消息的情况有两种:

• 如果客户端尝试向集群发送消息并获取网络错误, 则重试可能会导致重复. …

• 笔记

Kafka Producer配置解读

按照重要性分类, 基于版本0.11.0.0

高

bootstrap.servers

一组host和port用于初始化连接. 不管这里配置了多少台server, 都只是用作发现整个集群全部server信息. 这个配置不需要包含集群所有的机器信 …

• 笔记

消费时offset被重置导致重复消费

这是实际使用时遇到的问题：kafka api的版本是0.10，发现有重复消费问题；检查log后发现在commit offset的时候发生超时。

Auto offset commit failed for group test: Commit …

• 笔记

Kafka Java生产者模型

Producer初始化

初始化KafkaProducer实例，同时通过Config数据初始化MetaData、NetWorkClient、Accumulator和Sender线程。启动Sender线程。

MetaData信息

记录 …