首页 > 解决方案 > 如何在 SparkSQL 上获取诸如 totalNumberFiles、totalFileSize、maxFileSize 等 FileSystemStats?

问题描述

在 hive 中,要获取 FileSystemStats,例如我们运行查询的文件总数

Show table extended like '<db>.<table>' partition(<partition>)

我试着跑步

show table extended from <db> like '<table>' partition(<partition>);

在 SparkSQL 上,但此查询没有给出文件总数、最大文件大小等...

标签: hiveapache-spark-sqlbigdatahiveqlhadoop2

解决方案


推荐阅读