scala - 从 Spark 的优化逻辑计划中获取关系名称
问题描述
我在 Spark 中有以下优化的逻辑计划:
突出显示的部分显示LogicalRelation
了从 csv 文件创建的优化查询计划中的节点,如下所示:
val empDataSet = sparkSession.read.option("delimiter",";").csv("/home/dataset/employees.csv")
.toDF("emp_no","birth_date","first_name","last_name","gender","hire_date")
.createOrReplaceTempView("employees")
但是,它没有显示我在创建 DF 或原始 csv 文件名时提供的别名,而是显示了对它进行csv
写入的节点。有没有办法从优化计划中获取特定Relation
节点的原始文件名或别名?
解决方案
推荐阅读
- bitbucket - Bitbucket PyPoetry 版本控制问题
- javascript - Props 原来在 Reactjs 中是未定义的
- terminal - 使用 tmux 无需两步命令
- c - 您如何确保链接器部分不会分配闪存
- java - 在String regex java中删除逗号后的空格
- android - ktor 是否提供 main-safe 挂起功能,如改造和房间
- reactjs - AWS Amplify ReactJS 应用程序问题重新加载页面
- .net - 使用 Angular 在 ASP.NET Core 应用程序中进行路由
- excel - Tableau 查找函数
- sql - 将递归/循环 Excel 逻辑转换为 SQL 语法