apache-kafka - IoT - 多个 Kafka 生产者将消息发布到同一主题

Question

我正在尝试开发一个基于 IoT 的应用程序，其中多个设备将生成数据并将其发送到 Kafka 代理。设备的可能数量约为 60-70,000。

可能有 5-10 种不同的设备类型，但是，每种类型的设备数量会以千为单位，例如每个 20-40 千。

我想了解 Kafka 主题的使用情况，它应该支持这么多设备（平均 20-4 万台设备）。

另外，请让我知道此类应用程序是否需要基于 MQTT 的实现。

提前致谢，

阿维纳什·德什穆赫

标签： apache-kafkamqttkafka-producer-api

Answer 1

分区的数量主要影响消费者端，因为它是读取消息的并行单位。在生产者方面，考虑到因为每个领导分区都由代理托管，生产者必须连接到不同的代理以写入不同的分区，因此需要多个 TCP 连接。

关于 MQTT，这意味着您必须运行 MQTT 代理，然后使用相关的 MQTT 连接器运行 Kafka Connect。这取决于您拥有的设备类型。MQTT 协议作为轻量级协议最适合嵌入式/物联网设备，因此对于低功耗设备来说，它比在设备堆栈上使用 Kafka 协议更有意义。但这也可能取决于您是否在边缘使用物联网网关从现场的多个设备收集消息，然后发送到 Kafka。