rsync - 是否有任何操作员使用 Airflow 通过 SFTP 在不同主机之间移动文件？

Question

Airflow生态系统的菜鸟。我使用 Airflow 的首要目标之一是实现跨机器移动文件的工作流程。特别是，我正在寻找将来自不同 Mac/Linux 机器的数据整合到 NAS（使用 SFTP）中的方法。

我一直在探索不同的 Airflow 运营商，并且大多数传输运营商将数据从本地机器复制到云服务。我还没有看到有人将文件从主机复制到主机，也没有人移动（或复制，然后检查，然后删除）。我假设我可以使用 BashOperator 移动或使用 rsync 处理文件。在这方面是否有关于如何使用 Airflow 通过 SFTP 在不同主机之间移动文件的最佳实践？任何模式可以安全地复制/检查/删除？

标签： rsyncairflow

Answer 1

There is not.

However, you can create your own operators as plugins: https://airflow.apache.org/docs/stable/plugins.html

You may wanna take advantage of SftpHook existing in Airflow to code your operator: https://airflow.readthedocs.io/en/stable/_modules/airflow/contrib/hooks/sftp_hook.html