hadoop - 从 pyspark sql 中查找用于 hive 查询的 hive 表分区

Question

我有一个配置单元外部表，其中有几列按日期分区。数据采用 avro 格式。我想证明或查看来自 spark sql 的查询正在使用哪些分区。

我知道我们可以使用 "EXPLAIN DEPENDENCY SELECT * from table where date ='2019-12-20' 从 hive cli 中找到分区信息。我也知道使用 explain() 方法从 spark sql 获取执行计划。但这没有' t 显示分区信息。

请帮助我查看使用来自 spark 的表分区信息的方法。

谢谢

柴塔尼亚 M

标签： hadoophivepysparkpyspark-sql