时间戳

首页 > 解决方案 > spark.streaming.backpressure.* 属性是否适用于 Spark 结构化流？

scala - spark.streaming.backpressure.* 属性是否适用于 Spark 结构化流？

问题描述

我的理解是 Spark 结构化流是建立在 Spark SQL 之上的，而不是 Spark Streaming。因此，以下问题是否适用于 spark 流式传输的属性也适用于 spark 结构化流式传输，例如：

spark.streaming.backpressure.initialRate spark.streaming.backpressure.enabled spark.streaming.receiver.maxRate

标签： scalaapache-sparkspark-streamingspark-structured-streaming

解决方案

不。

Spark Structured Stream 默认情况下会尽快处理数据 - 在完成当前批次之后。您可以通过各种类型的处理速率进行控制，例如文件的maxFilesPerTrigger和KAFKA的 maxOffsetsPerTrigger。

此链接http://javaagile.blogspot.com/2019/03/everything-you-needed-to-know-about.html 说明背压无关紧要。

  • 它引用：“结构化流不能做真正的背压，因为，例如，Spark 不能告诉其他应用程序减慢将数据推送到 Kafka 的速度。” .
    • 我不确定这方面是否相关，因为 KAFKA 缓冲数据。尽管如此，这篇文章还是有很好的优点。

推荐阅读