java - 使用 Apache Beam 从 SFTP 位置读取文件

Question

我只是对实现 $subject 有几个问题。我有一个 FTP 位置，我想使用光束管道来读取这些文件并进行一些处理。我基本上想每隔一分钟从 FTP 位置读取文件列表并进行处理。你对此有什么想法吗？

我已经为处理部分编写了管道，只是每分钟都在努力读取 FTP 位置。

任何帮助，将不胜感激。

标签： javaamazon-web-servicesapache-beamapache-beam-io

Answer 1

GenerateSequence你可以用Beam 中的变换来做这样的事情。它会是这样的：

pipeline.apply(GenerateSequence.from(0).withRate(1, standardMinutes(1))
    .apply(ParDo.of(new ListAllFilesInFtpFn(serverAddress))
    .apply(ParDo.of(new DownloadFilesFromFtpFn(serverAddress));

这有意义吗？