apache-spark - 使用 Databricks 将十进制字段加载到 Redshift 表时出现 Avro 文件错误

Question

我在 Databricks 中有一个数据框，它有一堆列，包括一个 decimal(15,2) 字段。如果我排除十进制字段，那么我可以将此数据插入到 Redshift 表中，但是当包含十进制字段时，我会收到以下错误：
“无法从 s3 文件初始化 avro 阅读器无法解析文件头：无法保存固定架构”
任何想法？

标签： apache-sparkapache-spark-sqlamazon-redshiftavrodatabricks

Answer 1

尝试在decimal没有范围的情况下使用。或将现有列转换为decimal. 也尝试使用不同的tempformat. 根据我的经验CSV GZIP是更快。