apache-spark - 在火花中重现太大的帧异常

Question

在编写 spark 应用程序时，我经常遇到框架过大的异常。为了找到解决问题的方法，我需要能够在 Zeppelin 或 spark shell 中重现异常，而无需等待多个小时。

我已经尝试创建一个随机整数的数据帧，然后repartition(1).show它要么返回结果，要么驱动程序不再响应。

我也知道这个问题与数据倾斜有很大关系，但独立于我需要重现异常的数据。

你能帮我重现异常吗？这是一个例子：

org.apache.spark.shuffle.FetchFailedException: Too large frame: 2222736257
    at org.apache.spark.storage.ShuffleBlockFetcherIterator.throwFetchFailedException(ShuffleBlockFetcherIterator.scala:528)
    at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:459)
    at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:62)

标签： apache-sparkhadoopapache-spark-sql