apache-spark - 更改 spark shuffle 服务的版本

Question

我正在使用带有 databricks delta-0.8.0 的 spark-3.0.2 版本。在阅读已经写入的“delta”文件时，我遇到了错误

java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Job aborted due to stage failure: ShuffleMapStage 4 ($anonfun$call$1 at DatabricksLogging.scala:77) has failed the maximum allowable number of times: 4. Most recent failure reason: org.apache.spark.shuffle.FetchFailedException: java.lang.IllegalArgumentException: Unknown message type: 9 

如何解决上述错误？如何知道正在使用哪个版本的 spark shuffle 服务？以及如何将其更改为所需的版本。

标签： apache-sparkapache-spark-sqldatabricksdelta-lake