时间戳

首页 > 解决方案 > 在单个 Glue 作业中的多个表的源端运行 SQL 脚本，并具有与 S3 对应的表命名约定

pyspark - 在单个 Glue 作业中的多个表的源端运行 SQL 脚本，并具有与 S3 对应的表命名约定

问题描述

sql_list = ['(select * from table1 where rownum <= 100) alias1','(select * from table2 where rownum <= 100) alias2']

for sql_statement in sql_list: df = spark.read.format("jdbc").option("driver", jdbc_driver_name).option("url", db_url).option("dbtable", sql_statement).option("user", db_username).option("password", db_password).option("fetchSize", 100000).load()

df.write.format("parquet").mode("overwrite").save("s3://s3-location/" + sql_statement)

来源是 Oracle 数据库

我能够运行查询数组并将其存储在镶木地板的 S3 上，但使用的命名与 sql_list 上列出的相同，我想将数据存储到 S3，分别命名为 alias1 和 alias2。

标签： pysparkaws-glue

解决方案

考虑使用字典而不是列表，因为这样更简洁灵活。

    sql_list = {'alias1':'(select * from table1 where rownum <= 100) alias1',
                'alias2': '(select * from table2 where rownum <= 100) alias2'}

    for table,sql_statement in sql_list.items():
        df = spark.read.format("jdbc").option("driver", jdbc_driver_name)\
            .option("url",db_url)\
            .option("dbtable", sql_statement)\
            .option("user", db_username)\
            .option("password", db_password)\
            .option("fetchSize",100000).load()

        df.write.format("parquet").mode("overwrite").save("s3://s3-location/" + table)

否则你需要做一些肮脏的分裂

df.write.format("parquet").mode("overwrite").save("s3://s3-location/" + sql_statement.split(' ')[-1])

推荐阅读