scala - 如何在 pyspark 中查找数据框的大小（以 MB 为单位）？

Question

如何在 pyspark 中查找数据框的大小（以 MB 为单位），

df=spark.read.json("/Filestore/tables/test.json") 我想知道df或者test.json的大小如何

标签： scaladataframeapache-sparkpysparkdatabricks

Answer 1

一般来说，这并不容易。你可以

• 利用org.apache.spark.util.SizeEstimator
• 使用涉及缓存的方法，请参阅例如https://stackoverflow.com/a/49529028/1138523
• 使用df.inputfiles()和使用其他 API 直接获取文件大小（我使用 Hadoop Filesystem API （如何获取文件大小）这样做。这仅在数据帧未过滤/聚合时才有效