首页 > 解决方案 > 有没有可能在不执行的情况下提取火花作业的 DAG 的方法?

问题描述

有没有一种方法可以在不执行或运行作业的情况下提取 DAG 及其所有组件(阶段和任务)?

我有一个想法:在一个动作发生之前,我提取与该动作相关的 RDD 的依赖关系,并从中创建 DAG。

标签: apache-sparkdirected-acyclic-graphs

解决方案


如果我理解正确,rdd.toDebugString那就是你要找的。


推荐阅读