时间戳

首页 > 解决方案 > 从谷歌云存储到 s3 的 gsutil rsync 挂在大文件上

amazon-s3 - 从谷歌云存储到 s3 的 gsutil rsync 挂在大文件上

问题描述

尝试使用以下命令将我的谷歌云存储桶备份到 aws s3 桶时，我遇到了较大文件 (560MB) 的挂起：

gsutil -m rsync -rd gs://<MyGoogleBucket>/ s3://<MyS3Bucket>/

我知道连接很好，因为它复制了大约 150 个较小的文件 (9MB)，然后它挂在较大的文件上，没有明显的错误消息，只是外壳中的一个挂起的进度条。

当我按 ctrl-C 退出程序时，我注意到几条消息说：

[Errno 104] Connection reset by peer

这是我的 gsutil 版本：

gsutil version: 4.38
checksum: 58d3e78c61e7e0e80813a6ebc26085f6 (OK)
boto version: 2.49.0
python version: 2.7.13 (default, Sep 26 2018, 18:42:22) [GCC 6.3.0 20170516]
OS: Linux 4.9.0-8-amd64
multiprocessing available: True
using cloud sdk: True
pass cloud sdk credentials to gsutil: True
config path(s): /etc/boto.cfg, /home/USER/.boto
gsutil path: /home/USER/google-cloud-sdk/bin/gsutil
compiled crcmod: True
installed via package manager: False
editable install: False

我曾尝试在我的云 shell 以及 Google Compute VM 上执行此操作

有谁知道这个问题的修复或解决方法？提前致谢

-内森

标签： amazon-s3google-cloud-platformgsutil

解决方案

我已经开始使用 rclone，它简化了过程并允许完成复制。您可以在此处找到有关使用此工具的信息： https ://rclone.org/docs/

-n

推荐阅读