python - Airflow DAGs 文件目录树没有更新？

Question

Airflow 正在使用 Google Cloud Composer，版本是 1.10.2-composer。

我犯了一个错误，我将 DAG 文件 (tutorial.py) 上传到一个目录，比如这个 tutorial.py/tutorial.py。

当我删除它并再次上传时。我从堆栈驱动程序日志中看到了错误信息。

[Errno 21] 是一个目录：'/home/airflow/gcs/dags/tutorial.py'

我如何解决它？

PS我必须用新名称上传tutorial.py，如tutorial_test.py。但我不想这样做。

标签： pythonairflowgoogle-cloud-composer

Answer 1

您遇到此问题是因为您将“/home/airflow/gcs/dags/tutorial.py”设置为目的地。但是，标志“--destination”设置目标文件夹，而不是文件。在这种情况下，“/home/airflow/gcs/dags/tutorial.py”是文件夹名称。因此，Composer 创建了一个路径“/home/airflow/gcs/dags/tutorial.py”。

因此，以正确的方式使用“--destination”标志。

当您将文件放入文件夹'/home/airflow/gcs/dags/tutorial.py'时，该文件夹会同时在GCS中自动删除，因为它变为空，因此您无法再访问此文件夹。第二个命令将文件“tutorial.py”放在文件夹“/home/airflow/gcs/dags/”中。

请参阅此公共问题跟踪器以获取更多参考。