amazon-web-services - 从外部供应商 s3 存储桶到我（公司）的 AWS s3 存储桶的 SFTP

Question

任务：将 13TB（100 个文件）从外部 s3 存储桶加载到公司 s3 存储桶

给定：.pem 和 .ppk 文件、s3 主机名、用户名

到目前为止完成：能够使用提供的 .pem/.ppk 文件、主机名和用户名通过 FileZilla/WinSCP 查看文件

要求：确定将这数百个 .gz 文件从外部供应商的 s3 存储桶加载到我公司的 s3 存储桶的最佳方式，同时保持相同的结构。然后将其从内部 s3 加载到雪花中。正在考虑的选项：AWS Snowball、python、Volume --> s3、python 从 s3 加载到雪花中。

我不确定如何进行。有输入吗？

标签： amazon-web-servicesamazon-s3sftpsnowflake-cloud-data-platform

Answer 1

If the vendor is willing to work with you and S3 is the final destination, I would ask if they could set replication to your bucket.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/replication.html