时间戳

首页 > 解决方案 > SFTPoperator 获取多个文件

google-cloud-platform - SFTPoperator 获取多个文件

问题描述

如何使用 SFTPOperator 从 SFTP 服务器获取多个文件。我可以在 cloud shell 中使用 bash MGET 来做到这一点，但我对 AIRFLOW 的 SFTPOperator 的多次获取一无所知

标签： google-cloud-platformairflow

解决方案

你不能。SFTPOperator仅适用于单个文件或目录。见https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/sftp_operator.py

但是，您至少有两种选择：

  • 创建多个任务，每个任务下载一个文件
  • 子类SFTPOperator化并实现您自己的多文件获取功能

推荐阅读