apache-kafka - 使用带 MSK 的 Debezium MySQL 连接器显示“INVALID_REPLICATION_FACTOR”

Question

我正在使用带 MSK 的 Debezium MySQL，设置非常简单。与 MySQL (Aurora) 的连接测试良好。Kafka主题创建，列表都可以。

但是，当我运行连接器时，经过大量滚动信息后，我得到

WARN [Producer clientId=xxx] Error while fetching metadata with correlation id 1 : {xxx.xxx=INVALID_REP
LICATION_FACTOR} (org.apache.kafka.clients.NetworkClient:1100)

他们中的很多人不断出现，并且连接器无法正常工作。

标签： apache-kafkadebeziumaws-msk

Answer 1

过了一会儿，我发现这是因为replication factorMSK 的默认设置遵循 Kafka 最佳实践3，但我只创建了 2 个代理。

配置保持不变3，当连接器尝试自动创建具有 3 个副本的主题时，它失败了。奇怪的是，即使我手动创建了复制因子为 2 的主题，连接器也会抛出相同的警告。

似乎内部主题总是由 Debezium 连接器尝试。

创建一个新版本并将复制因子设置为 2 解决了这个问题。