首页 > 解决方案 > 从 Spark 的优化逻辑计划中获取关系名称

问题描述

我在 Spark 中有以下优化的逻辑计划:

在此处输入图像描述

突出显示的部分显示LogicalRelation了从 csv 文件创建的优化查询计划中的节点,如下所示:

val empDataSet = sparkSession.read.option("delimiter",";").csv("/home/dataset/employees.csv")
  .toDF("emp_no","birth_date","first_name","last_name","gender","hire_date")
  .createOrReplaceTempView("employees")

但是,它没有显示我在创建 DF 或原始 csv 文件名时提供的别名,而是显示了对它进行csv写入的节点。有没有办法从优化计划中获取特定Relation节点的原始文件名或别名?

标签: scalaapache-spark

解决方案


推荐阅读