apache-spark - Spark 2.3.1 错误 AsyncEventQueue:70 - 从队列 appStatus 中删除事件

Question

错误 AsyncEventQueue:70 - 从队列 appStatus 中删除事件。这可能意味着其中一个侦听器速度太慢，无法跟上调度程序启动任务的速度。

我使用的是 spark 版本 2.3.1，但仍然出现错误（相信 spark 版本 > 2.3.0 可以方便地解决问题）。数据的大小是否会导致问题？可能的解决方案是什么？

我使用 spark.scheduler.listenerbus.eventqueue.size= 将大小从 10000（默认）更改为 100000，但我担心这只是推迟了错误。

任何帮助，将不胜感激。

标签： apache-sparkpyspark