apache-spark - 有没有可能在不执行的情况下提取火花作业的 DAG 的方法?
问题描述
有没有一种方法可以在不执行或运行作业的情况下提取 DAG 及其所有组件(阶段和任务)?
我有一个想法:在一个动作发生之前,我提取与该动作相关的 RDD 的依赖关系,并从中创建 DAG。
解决方案
如果我理解正确,rdd.toDebugString
那就是你要找的。
推荐阅读
- javascript - React hooks 渲染原因
- javascript - Bootstrap JS 动态标签 - 每个导航链接更改相同的元素
- angular - angular-oauth2-oidc 忘记密码流程
- python - Python: appending list element that is already in the list
- javascript - Translating aes-js CTR into Java
- reactjs - 如何使用 MaterialUI 导入 Alert / AlertTitle 组件
- firebase - Why won't my flutter firestore string or image_picker function carry over to another page, or vice-versa?
- sql-server - SQL Join with an OR Clause
- reactjs - React-route-dom updates url but doesn't render component
- python - 带有 pipenv 的 Pyinstaller