时间戳

首页 > 解决方案 > Apache Flume 能否从 AWS Kinesis 或 GCP Pub/Sub 收集数据？

hadoop - Apache Flume 能否从 AWS Kinesis 或 GCP Pub/Sub 收集数据？

问题描述

我正在使用 Flume 将流数据从 Kafka 收集到 HDFS。

但是数据源可能会变成多个。

因此，我想知道我是否可以构建一个数据收集系统：

Kafka / Kinesis / Pub/Sub -> Flume -> HDFS（存储）/ Flink（处理）。

但似乎我找不到有关如何将 Flume 连接到 Kinesis、pub/sub 的数据。这是可行的吗？任何帮助表示赞赏。

标签： hadoopflumeamazon-kinesis

解决方案

推荐阅读