apache-flink - 增加并行度对吞吐量的影响
问题描述
我先用 Parallelism 1 运行工作,然后用 Parallelism 3 运行。在 Parallelism=1 的情况下,kafka 源以每秒约 500 条记录的速度读取记录。当 Parallelism=3 时,吞吐量在三个并行度之间分配,每个并行度大约每秒读取约 150 条记录。请注意,源以更高的速度发布记录(每秒约 1000 条记录)。
这是预期的吗?我会想象吞吐量会随着并行性而增加,但它保持不变。我检查了Backpressure
源上的状态,它是High
.
截图供参考:
解决方案
推荐阅读
- haskell - 将 Persistent 与 RIO 日志记录相结合以转储表
- azure - 从 Azure 连接到本地文件共享
- ios - 如何在 Swift 中将任何文本字段输入转换为浮点数
- java - Replacing CRLF with LF in Ant regex
- c++ - 为什么我们将单维或多维数组的大小声明为常量值?
- angular - 以角度处理依赖可观察订阅的最佳方法是什么?
- autodesk-forge - 模型发布在 C4R 命令执行 8 小时后开始
- python - 在python中按IP地址和字符串降序排序列表
- c - 在列表中查找子列表并将其值求和
- spring-cloud-dataflow - Spring Cloud Dataflow Server 本地锁定 Jar