google-cloud-platform - 直接从url下载大数据到google云存储Bucket

我想从 URL“https”直接下载一个大型数据集到谷歌云存储（桶）。

我使用了 gsutil 流命令。通过谷歌云壳

curl -L https://../../..velodyne.zip | gsutil cp - gs://###/##/velodyne.zip

结果是

我们在您的 Google Cloud Shell 会话中检测到过多的出站网络流量。停止或减少此流量，否则您的会话将被终止。

标签： google-cloud-platformgoogle-cloud-storagebucket

这是因为您正在下载到本地环境（云外壳），curl然后发送到 GCS。

这样做的方法是使用Storage Transfer Service。

有一种选择是为传输服务提供一个URL 列表，服务本身会将所有数据下载到存储桶中。