apache-flink - Flink 从 Hadoop 读取数据并发布到 Kafka

Question

我需要从 HDFS 读取数据并将其发布到 Kafka 主题。因为它们是 DataSet 和 DataStream API 的一部分，是否有可能在一项工作中完成我正在寻找的事情？

标签： apache-flinkflink-streamingflink-batch

Answer 1

Flink 的 DataStream API 可用于读取 HDFS 文件。请参阅https://ci.apache.org/projects/flink/flink-docs-stable/dev/datastream_api.html#data-sourcesreadfile()。或者您可以将文件系统连接器与 Table 和 SQL API 一起使用，但它仅支持 CSV。