首页 > 解决方案 > 在使用 Scala 使用 AWS Glue 从 PostgreSQL 表中读取数据时需要帮助

问题描述

我已经创建了 JDBC 连接(到 PostgreSQL)并成功测试。我可以使用两种方法读取表格。(步骤 2.1 和步骤 2.2)

第 1 步:创建 JDBC 连接(到 PostgreSQL)。

第 2 步:创建一个爬虫。运行此爬虫时,会在数据目录中创建表。将此表与glueContext.getSource.getDynamicFrame() 一起使用

第 3 步:定义 JDBC 属性,如 URL、dbtable、用户、密码。直接在我们的代码/脚本中使用这些作为参数。

我怀疑第 3 步中的方法。我们不能在第 1 步中创建的代码/脚本中直接使用 connection_name 吗?

如果我在创建作业时没有从步骤 1 添加连接,并且如果我在代码/脚本中定义 jdbc 属性,那么我会遇到异常(org.postgresql.util.PSQLException)并且连接尝试失败。

标签: postgresqlamazon-web-servicesjdbcaws-glueaws-glue-data-catalog

解决方案


推荐阅读