scala - SparkSQL：少量输入需要数小时的任务

Question

我目前正面临 ap​​ache spark 2.1 (scala) 的一个奇怪问题。我正在运行 sparkSQL 作业，该作业在一项任务上挂起超过 2 小时：

对于 751 条输入记录，前两个任务需要 2 个多小时才能完成，这对我来说没有任何意义。

此外，在日志中我可以看到：

18/07/16 14:34:43 INFO Executor: Running task 0.0 in stage 21.0 (TID 3974)
18/07/16 14:34:43 INFO Executor: Finished task 0.0 in stage 21.0 (TID 3974). 16874 bytes result sent to driver
18/07/16 14:34:43 INFO Executor: Finished task 136.0 in stage 21.0 (TID 3873). 18268 bytes result sent to driver
18/07/16 16:44:42 INFO Executor: Finished task 196.0 in stage 21.0 (TID 3921). 17190 bytes result sent to driver
18/07/16 16:44:43 INFO BlockManager: Removing RDD 7
18/07/16 16:44:43 INFO BlockManager: Removing RDD 59

所以看起来执行者真的什么都没做。

以前有没有人遇到过这样的问题，或者有人对此有一些见解？

标签： scalaapache-sparkapache-spark-sql