apache-spark - 有没有一种 SQL 方法可以找出 Spark SQL 中表的物理存储大小

Question

底层数据源以 Parquet 格式存储，并通过 Hive 公开。

有没有办法使用 SQL 查询来询问给定表的物理存储大小？

标签： apache-sparkapache-spark-sql

Answer 1

两个选项：1）检查底层文件的文件大小。例如：在 HDFS 中使用hadoop fs -du -s <path> 2）您可以尝试使用describe formatted <table>;