apache-spark - 使用 Airflow 并行执行脚本
问题描述
我有两个单独的火花文件。extension(.py) 我想使用气流安排这两个文件，但都需要同时启动。我怎样才能做到这一点？？
但是，当我使用两个不同的线程手动提交 spark 文件时，它会并行运行。
所以我只想同时安排这两个文件。如何使用 Airflow 做到这一点？
解决方案
推荐阅读
- java - 在java中使用selenium关闭所有窗口firefox？
- python - 如何在python中循环遍历列表？
- unit-testing - 如何将 MockWebServer 用于 webclient 的 Junit 测试用例？
- reactjs - 使用 useEffect 设置函数在自定义钩子中不起作用
- keras - 使用 ImageDataGenerator 和流训练和测试拆分集
- php - 表单数据不显示在数据库中
- python - Python 中的 sys.exit() 和 break 有什么区别？
- python - 如何使用 reportlab 和 pylabels 将多个项目添加到标签
- flutter - 单击凸起的按钮失败，没有任何错误
- xcode - 如何在 Xcode 中折叠/隐藏“查看为 [设备]”面板