Kafka系列

Kafka系列之：Exactly-once support

Kafka系列之：Exactly-once support 一、Sink connectors二、Source connectors三、Worker configuration四、ACL requirementsKafka Connect 能够为接收器连接器（从版本 0.11.0 开始）和源连接器（从版本 3.3.0 开始）提供一次性语义。请注意，对一次语义的支持高度依赖于您运…

Kafka系列之：实现kafka topic优先副本的选举

Kafka系列之：实现kafka topic优先副本的选举一、优先副本概念二、直观了解下优先副本三、实现优先副本的方法一、优先副本概念详细知识点可以阅读博主以下这篇博客文章： Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数为了能够有效地治理负载失衡的情况，…

Kafka系列之：Kraft模式

Kafka系列之：Kraft模式一、Kraft架构二、Kafka的Kraft集群部署三、初始化集群数据目录四、创建KafkaTopic五、查看Kafka Topic六、创建生产者七、创建消费者一、Kraft架构 Kafka元数据存储在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。Kraft模式…

Kafka系列之：Connect 中的错误报告

Kafka系列之：Connect 中的错误报告 Kafka Connect 提供错误报告来处理各个处理阶段遇到的错误。默认情况下，转换期间或转换中遇到的任何错误都会导致连接器失败。每个连接器配置还可以通过跳过此类错误、选择性地将每个错误以及失败操作的详细信息和有问题的记录（具有各种详…

Kafka系列之：Kafka Connect REST API

Kafka系列之：Kafka Connect REST API 由于 Kafka Connect 旨在作为服务运行，因此它还提供了用于管理连接器的 REST API。此 REST API 可在独立模式和分布式模式下使用。可以使用侦听器配置选项来配置 REST API 服务器。该字段应包含以下格式的侦听器列表： protocol://host:p…

Kafka系列之：自定义转换Transformation

Kafka系列之：自定义转换Transformation 一、自定义转换二、Transformation示例一、自定义转换如果可用的单一消息转换 (SMT) 均未提供必要的转换，可以创建自己的转换。首先要理解的一个重要概念是，通常，SMT 实现在抽象类中提…

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数一、创建KafkaAdminClient二、获取kafka集群topic元信息三、获取每个topic的名称、分区数、副本数四、生成增加topic副本的json文件五、执行增加topic副本的命令六、确认topic增加副本是否成功一、创建K…

Kafka系列之：Kafka生产者和消费者

Kafka系列之：Kafka生产者和消费者一、Kafka生产者发送流程二、提高生产者吞吐量三、Kafka消费方式四、Kafka消费者总体工作流程五、按照时间消费Kafka Topic一、Kafka生产者发送流程 batch.size：只有数据积累到batch.size之后，sender才会发送数据，默认16K。linger.ms：如果…

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小 "log.retention.bytes"是Apache Kafka中的一项配置参数，用于指定每个日志段文件的最大大小。当日志段文件的…