apache-kafka - 在 ftp 上对文件进行流处理

Question

在其中一个应用程序中，我们的客户端接收到文件中的多个事件，这些事件上传到 ftp 服务器。这些文件的频率将以分钟为单位。这些事件需要单独处理。

处理这些事件的一种方法是将它们推送到 kafka，然后使用 kafka 流/消费者一一处理它们。这是正确的方法还是我们应该考虑一些像 spark 这样的批处理？在最坏的情况下，我们预计每分钟不会有超过 10K 的消息。

谢谢

标签： apache-kafkakafka-consumer-apiapache-kafka-streams