apache-spark - Spark：读取镶木地板文件时出现问题

Question

读取任何镶木地板文件时出现以下异常：

org.apache.spark.sql.AnalysisException: Illegal Parquet type: FIXED_LEN_BYTE_ARRAY;
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.illegalType$1(ParquetSchemaConverter.scala:126)
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.convertPrimitiveField(ParquetSchemaConverter.scala:193)

在 apache spark 的 repo 中找到了一个关于此的拉取请求： https ://github.com/apache/spark/pull/20826

如何解决这个问题？

标签： apache-sparkapache-spark-sqlparquet

Answer 1

我同意这很烦人。我们只是将它序列化为一个字符串，但我同意这是一个穷人的解决方案。