时间戳

首页 > 解决方案 > 从永久性磁盘到 Google 存储桶的同步速度很慢

google-cloud-platform - 从永久性磁盘到 Google 存储桶的同步速度很慢

问题描述

我们在本地存储中有大约 11TB 的图像，并且已将其复制到 Google Cloud Bucket。我们需要增量同步所有图像，即仅更新文件。目前我们正在使用以下 gsutil 命令同步文件。

gsutil -m rsync -r -C /mnt/Test/ gs://test_images/test-H/

我们面临的问题是复制大约需要 6 天，而大部分时间需要扫描磁盘。请让我知道是否有任何方法可以复制至少 24 小时的更新数据。

标签： google-cloud-platformgoogle-cloud-storagegcloudrsyncbucket

解决方案

为了提高传输速度，这里有一些提示：

  • 使用最接近虚拟机的区域存储
  • 使用具有至少 8 个 vCPU 的 VM 来最大化带宽，如配额中所述

取决于 VM 的机器类型：

所有共享核心机器类型都限制为 1 Gbps。

每个 vCPU 2 Gbps，对于使用具有 16 个或更多 vCPU 的 Skylake 或更高版本 CPU 平台的机器类型，每个 VM 最高 32 Gbps。此出口速率也适用于 ultramem 机器类型。

每个 vCPU 2 Gbps，对于具有 8 个或更多 vCPU 的所有其他机器类型，每个 VM 最高 16 Gbps。

推荐阅读