amazon-s3 - Confluent S3 连接器说明

Question

我们正在使用 confluent 的 s3 连接器将 avro 数据从主题发送到 s3。我们有 3 个代理节点，并且在所有 3 个节点上我们都在运行 confluent s3-connector。在连接器的配置文件中，我们有两个主题和tasks.max=1。我是kafka的新手，我有以下疑问：

1. 由于我们总共有三个 s3 连接器，它们如何从每个主题中读取数据（每个主题有 3 个分区和 2 个复制因子）。他们是被认为是三个不同的消费者从同一个主题阅读，还是所有这些消费者都属于一个消费者组并并行读取数据？
2. 我们在每个连接器中有两个主题。他们是启动不同的线程以并行读取两个主题的数据，还是顺序消费（一次从一个主题读取）？

标签： amazon-s3apache-kafkaapache-kafka-connect

Answer 1

tasks.max=1

首先，将其设置为总分区数。

---

复制因子无关紧要。消费者一次只能读取一个分区。

Connect 形成一个消费者组。这是任何 Kafka 消费者客户端的基本设计。它们并行读取，具体取决于您的所有其他属性。

听起来你在跑步，但connect-standalone不是connect-distributed

如果你有3台机器，显然使用分布式模式

是的，任务和线程在功能上是等效的，不同之处在于任务将重新平衡，而线程在逻辑上仅在一台机器上。