python - 使用 Kafka Producer 发送日志文件

Question

我想创建一个 python 脚本来从虚拟机发送文件并将它们发送到 kafka 代理。为了简单起见：

• 我在这个 IP 地址中有日志文件：VM1 10.10.10.1
• 我想创建一个 kafka 生产者（使用 python）从VM1发送文件
• Kafka安装在另一个虚拟机上：VM2 10.10.10.2

局限性

1. 我无法在VM1上安装任何工具
2. 我只能使用用户/密码来访问VM1

我认为我需要创建一个连接器？我们可以重用像connect-file-sink.properties之类的东西，并指定文件存储在外部机器中的文件夹 + ip：VM1

还有其他工具可以做到这一点吗？

标签： pythonapache-kafkakafka-producer-apiapache-kafka-connect

Answer 1

有很多现有的工具可以做到这一点，例如支持输出到 Kafka、Fluentd等的Filebeat 。

这些都可以通过简单的配置文件轻松设置。最棘手的可能是你的网络——只要确保你已经正确配置了 Kafka 的监听器。