apache-flink - 没有背压的 Apache Flink 和 Kafka 延迟

Question

我有 flink 应用程序，具有 48 个并行度（1 个 jobManager，3taskManagers）和近 2300-2400 个任务。

但有时 flink 并不能快速消耗 kafka 记录，这会导致延迟。

在图中，任何任务都没有背压（我从 prometheus 集成中得到了结果，flink_taskmanager_job_task_isBackPressured）

我主要使用rocksdb来存储状态，只有5-6个流（48个并行）正在使用registerProcessingTimeTimer()

没有检查点和保存点操作

可能是什么问题？（或者我应该向集群添加新节点？）

来自 kafka 记录的对象包含 24 个原始字段，1 个复杂对象（包括 15 个原始字段），1 个 map<String,String> 数据类型，1 个另一个复杂对象（包括 8 个原始字段），

标签： apache-flinkflink-streaming