时间戳

首页 > 解决方案 > 如何在 scala 中设置 spark.sql.pivotMaxValues？

scala - 如何在 scala 中设置 spark.sql.pivotMaxValues？

问题描述

这可能是一个愚蠢的问题，但我如何设置 spark.sql.pivotMaxValues 在数据块中尝试 pivit 时？我得到了这个巨大的错误'org.apache.spark.sql.AnalysisException: The pivot column census_block_group has more than 10000 distinct values, this could indicate an error. If this was intended, set spark.sql.pivotMaxValues to at least the number of distinct values of the pivot column.; 所以有人知道我该如何解决这个问题吗？

import org.apache.spark.sql.SQLContext

 val df = censusBlocks.toDF
df.groupBy("B08007e1").pivot("census_block_group").sum("B08008e4")
df.show()

标签： scalaapache-spark

解决方案

你可以设置它

spark.conf.set("spark.sql.pivotMaxValues", 10000)

推荐阅读