apache-spark - 控制在本地模式下运行 pyspark 的网络流量？
问题描述
我正在 12 核 mac pro 机器上以本地模式使用 pyspark 运行我的预处理例程。尽管我使用 --master local[*] 作为本地模式运行它，但我怀疑网络流量实际上会触及我的路由器，因此整体网络速度会变慢。
我考虑过通过防火墙阻止本地机器的火花使用的一些端口，但我相信可能有更好的方法来处理这个问题。
我不确定我关于增加网络流量的假设是对还是错，所以我很想听听其他人的经历。如果是这样，有没有办法用配置文件来处理这个问题？谢谢。
解决方案
推荐阅读
- modelica - 如何解决与不在我的 OpenModelica 模型中的变量有关的错误？
- webpack - 使用 dev/hot-middleware 编译时如何忽略对 index.html 的更改？
- javascript - 无法将 javascript 添加到 chrome 扩展 html
- html - 如何在不影响顶部内容的情况下使背景图像模糊？
- javascript - 无法设置属性...未定义或空引用
- javascript - addeventlistener 后如何做到这一点不要覆盖 css 样式
- r - 如何添加这样的注释？
- sql - 如何从包含 oracle 模式中的列名的所有表中获取特定列的最大值？
- android - 在 ionic 3 中“找不到已安装的 Gradle 版本”
- cuda - 使用 Vulkan VkImage 作为 CUDA cuArray