时间戳

首页 > 解决方案 > 如何将结果集作为 CSV 从 Aurora Postgres DB 导出到 AWS-S3？

postgresql - 如何将结果集作为 CSV 从 Aurora Postgres DB 导出到 AWS-S3？

问题描述

作为我Flask和Celery应用程序的一部分，我正在尝试将数据从AWS-Aurora Postgres DB移动到Redshift。

我将在Kubernetes中运行这个应用程序。

我的方法是查询 aurora Postgres数据库并将结果集写入一个 CSV 文件，该文件保存在附件volume中，然后将其上传到S3然后将文件导入到Redshift.

但是，我遇到了另一篇文章，它让我们可以直接将结果集作为CSV文件上传到，S3而不是使用中间卷。 https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Integrating.SaveIntoS3.html

他们提到了OUTFILE命令的用法。但它提到了MySQL。但他们没有提到任何关于Postgres DB.

甚至可以使用命令Aurora Postgres DB并导出到S3.

标签： postgresqlamazon-web-servicescsvamazon-s3amazon-aurora

解决方案

如果可以使用 psql 连接到数据库，则可以使用 \copy 命令将任何 select 语句的输出导出到 csv：

https://codeburst.io/two-handy-examples-of-the-psql-copy-meta-command-2feaefd5dd90

https://dba.stackexchange.com/questions/7651/postgres-client-copy-copy-command-doesnt-have-access-to-a-temporary-table

推荐阅读