python - 如何有效地将数据从 Postgres 传输到 Amazon Redshift？

我机器上的本地Postgres 数据库中有很多数据。我需要对这个本地数据库中存在的数据进行非规范化，并获取一个特定格式的查询集，可以直接使用Python将其直接加载到 Redshift 表中。

我确实有可以在本地数据库上运行的查询，并以需要直接加载到Redshift的特定格式获取查询集。

但是我需要将大量数据从 local 转移到Redshift。目前，我能想到的唯一更好的方法是将我得到的查询集导出到一个.csv文件中，该文件将上传到S3 存储桶，该存储桶将使用 Python 直接复制到 Redshift 表中。

我只是想知道是否有其他方法可以做到这一点。类似于直接从Postgres 数据库流式传输到AWS Redshift

请让我知道上传和转储.csv是否是更好的方法，或者是否有任何其他有效的方法来实现这一点。

标签： pythonpostgresqlamazon-web-servicesamazon-redshift

您拥有的另一个可能更好的选择是使用 AWS DMS（数据库迁移服务）。