google-cloud-platform - Gsutil 在存储桶中创建“tmp”文件

Question

我们正在使用自动化脚本将数千个文件从 MAPR HDFS 上传到 GCP 存储。有时主存储桶中的文件带有tmp~!@后缀，这会导致我们的管道失败。

例子：

gs://some_path/.pre-processing/file_name.gz.tmp~!@

我们正在使用rsync -m并且在某些情况下cp -I

 some_file | gsutil -m cp -I '{GCP_DESTINATION}'

 gsutil -m rsync {MAPR_SOURCE} '{GCP_DESTINATION}'

复制尝试可能失败并稍后从另一台机器重试，最终，我们同时拥有该文件和另一个带有tmp~!@后缀的文件

我想摆脱这些文件而不主动寻找它们。

我们有 gsutil 4.33，感谢任何线索。谢谢

标签： google-cloud-platformgsutil