apache-spark - 集群扩展时动态更改分区数
问题描述
我正在运行一个最初有 4 个节点集群的 spark 作业。该集群是可自动扩展的，因此在高负载期间，节点数最多可扩展到 15 个节点。但是在启动过程中，我们提供了基于 4 个节点的分区数。现在，当我的集群扩展到 15 个节点时，分区数仍然相同（在启动时分配）。我的问题是，即使我没有更多的执行程序，我是否也完全利用了我的集群而没有相同的分区。或者 spark 在内部处理这个。
集群扩展时是否必须动态更改分区数？如果我必须这样做，我怎样才能在我的 Spark 工作中实现这一点？
任何输入都受到高度赞赏。
提前致谢！！
解决方案
推荐阅读
- java - 使用 IntelliJ UI Designer 时如何向 JComboBox 添加文本？
- java - Android 闪屏仅在某些设备上不断崩溃
- javascript - 解析名称以使字符大写和小写
- git - 在 Bitbucket 的这句话中，“源”和“您的更新”以及“目标”和“原始代码”之间有什么区别？
- excel - 匹配索引多个条件与大于问题
- java - 如何将百分比计算为指数级数？
- r - 如何使用 R、stingr 分割字符串
- machine-learning - 如何在使用更快的 rcnn/ssd 模型的同时加快对象检测
- python-3.x - 用 Python 从电视节目中提取星期几
- python - Keras 确定错误的预测