airflow - 本地下载的文件放在 Cloud Composer 的什么位置?
问题描述
我有一个 DAG,它从 Cloud Storage 下载文件并将其保存到以下路径:/home/airflow/gcs/data/FILENAME.txt
该文件随后会出现在 Cloud Composer 存储分区中的/data
.
但是,当我最初编写 DAG 时,我没有指定下载位置为:/home/airflow/gcs/data/
,只是让它下载文件。我想去删除那些文件,但我不知道在哪里可以找到它们。
当您不指定文件夹时,Cloud Composer 中下载的文件位于何处?
解决方案
从第一次编写 DAG 时开始,您似乎不需要担心清理问题 - 如果您使用的是gcs_download_operator
,那么根据其源代码,如果您没有为filename
参数指定值,则下载的文件将不会t 存储在本地文件系统上。
推荐阅读
- c - c 中 fscanf 循环的分段错误,CS50 拼写代码
- reactjs - 输入未写入输入字段。由 React useForm Hook 注册验证引起的问题
- macos - 创建绑定到 dev/ttys 的网络接口
- python - 如何将被狙击的消息发送到另一个频道?(discord.py)
- teradata - 在 Tera 数据中卸载到 S3 存储桶时是否可以命名镶木地板文件
- python - 匹配字符串之间的正则表达式
- c# - 如何将 GitVersion /UpdateAssemblyInfo 用于尚未提交的更改?
- excel - 根据 2 个单独单元格中的值生成某些列表
- aws-lambda - 如何使用 lambda 函数来确定要转到哪个 lex bot?
- sql - 一直说我必须声明 guest_id,任何人都可以提供有关此问题的见解吗?