apache-spark - 在 Spark 中调整 DAG/沿袭图
问题描述
我们有这样的场景：
我们正在从 10 个 RDBMS 表中获取数据，并将它们转换为 spark 中的数据框。
使用不同的连接条件连接所有数据框，最后将最终结果加载到表中。
我们正在使用多次转换来实现最终查询，所以 DAG 和 lineage graph 会很大，我们可以优化使 DAG/lineage graph 更小吗？
谢谢，
维杰
解决方案
推荐阅读
- html - 光滑的轮播（下一个/上一个按钮放置）
- oracle - 带有自定义事件“beforeunload”的 Oracle Apex 4.2 动态操作不起作用
- c# - 使用表单授权模拟用户
- attributes - 使用属性和数量在购物车上添加费用
- javascript - 按状态转换数据数组
- swift - 迅速正确计算时间占一天的比例
- html - iFrame 使用来自主机主体的背景图像
- obfuscation - 有哪些好的/便宜的数据混淆和数据屏蔽工具？
- angular8 - 在 Angular 8 中设置启动页面/组件但出现错误“Angular CLI 进程未开始侦听请求”
- android - Java.Lang.RuntimeException：Firestore (0.6.6-dev) 中的内部错误，无法在我的应用程序和 Firestore 项目之间连接