apache-spark - spark-jms-receiver 加载使只有一个消费者忙

Question

我有一个用于 spark 的 JMS Custom 接收器，以及第三方发布的数据。目前，我只能看到一个消费者在运行，这导致一个 spark 执行器被使用，因为一段时间后我遇到了 GC over head 错误。

如何让多个消费者，让数据可以被多个执行者处理？

我尝试在阅读 Dsreams 后重新分区，但生产者写入速度更快，因此在某个时间点后，单个消费者收集了更多记录，并引发 GC 开销内存错误。

标签： apache-sparkjmsspark-streamingpartitioning