pyspark - parquet 中的 Athena 类型 INT64 与表模式中定义的类型 double 不兼容

Question

我已经使用 pyspark infer 模式将数据从 csv 转换为 parquet 文件格式，并尝试使用 Athena 读取数据。

    df.printSchehma()
    test_num : double (nullable = true)

当我们使用 Glue 爬虫创建表时，Athena 也使用双数据类型，我们无法查询具有以下问题的表。

错误：

   test_num : type INT64 in parquet is incompatible with type double defined in table schema

有什么建议可以解决这个问题吗？感谢你的帮助。

标签： pysparkapache-spark-sqlaws-glueamazon-athena