apache-beam-io - 使用 AWS S3 作为数据源的 TensorFlow 转换 Python

Question

我正在尝试运行 TensorFlow Transform，使用 Python、Apache Flink 作为 Beam Runner。我注意到 Beam 没有 AWS S3 作为 io 连接器，并且想知道任何解决方法。

这是支持的 io 连接器列表，但 Python+S3 甚至不在路线图中。

我可以想到两种解决方法：

1. 将 S3 存储桶作为本地驱动器挂载到 EC2 实例
2. 使用他们的指南编写我自己的 Python S3 连接器。

我想知道是否还有其他创造性（简单）的出路。

谢谢！

标签： apache-beam-iotensorflow-transform