时间戳

首页 > 解决方案 > 如何将查询从 Spark 写入 Redshift？

apache-spark - 如何将查询从 Spark 写入 Redshift？

问题描述

我通过 SSH 连接到 Glue 中的 Dev Endpoint。Spark 2.4.1 正在运行。

我想运行一个简单的查询select * from pg_namespace;

同样在此之后，想要使用 COPY 命令将数据从 S3 移动到 Redshift。

如何在 Spark 控制台中编写它？

谢谢。

标签： apache-sparkamazon-redshiftaws-glue

解决方案

不确定是否可以直接使用 COPY 命令，我还没有尝试过。

要将数据从 S3 移动到 Redshift，您可以使用 AWS Glue API。 请在此处查看来自 AWS 的示例代码？在幕后，我认为 AWS Glue 使用 COPY / UNLOAD 命令在 S3 和 REDSHIFT 之间移动数据。

推荐阅读