apache-kafka - 如何在 StreamSets Data Collector 中加入多个 Kafka 主题？

Question

我有一个用例，我必须根据 StreamSets Data Collector 中的某些标准“加入”多个 Kafka 主题。我想知道是否有一些常用的成语可以解决这样的问题？

标签： apache-kafkastream-processingstreamsets

Answer 1

StreamSets Data Collector 确实不是此类工作的正确工具，因为 Data Collector 管道只能有一个来源。

您应该查看StreamSets Transformer，它是基于 Spark 构建的，专门用于连接多个数据流并执行类似的任务。