apache-spark - 火花调整问题

strong text 为什么这个阶段一直在运行 1 个线程？由于这个需要很长时间才能完成，我猜这里它没有实现并行过程。

那么任何人都可以解释一下吗？

标签： apache-sparkapache-spark-sqlspark-streaming

由于您没有提供有关您到底要做什么的更多具体信息，因此只能给出广泛的答案。

如果您有一个（或几个）任务挂在较大的任务池中，最常见的原因是数据倾斜。

另一种选择是数据触发的任务可能需要更长的时间来计算数据（CPU 繁重）

或者您的任务挂在 IO 上，这可能表明网络/IO 通道饱和。