amazon-web-services - 如何使用 Spark 创建 RedShift 表？

Question

这适用于 Spark：

df =  spark.read \
  .format('jdbc') \
  .option("url", "jdbc:redshift://redshift-cluster-xyz.redshift.amazonaws.com:5439/dev") \
  .option("user", "myuser") \
  .option("password", "mypass") \
  .option("query", "select distinct(tablename) from pg_table_def where schemaname = 'public' ") \
  .load().show()

这失败了：

spark.read \
  .format('jdbc') \
  .option("url", "jdbc:redshift://redshift-cluster-xyz.redshift.amazonaws.com:5439/dev") \
  .option("user", "myuser") \
  .option("password", "mypass") \
  .option("query", 'CREATE TABLE product (c1 real) ') \
  .load()

得到错误：
Caused by: com.amazon.support.exceptions.ErrorException: [Amazon](500310) Invalid operation: syntax error at or near "CREATE"

我也尝试使用双引号。

如何使用 Spark 在 Redshift 中创建表并指定数据类型？

标签： amazon-web-servicesapache-sparkpysparkamazon-redshift