时间戳

首页 > 解决方案 > 有没有办法在通过 pyspark 删除 hdfs 文件时跳过垃圾？

apache-spark - 有没有办法在通过 pyspark 删除 hdfs 文件时跳过垃圾？

问题描述

我正在使用deletefrom org.apache.hadoop.fspackage 来排除一些 HDFS 文件。但我不想将它们移动到我用户的垃圾文件夹，我想永久删除所有内容。我怎样才能做到这一点？

下面是我的代码示例：

fs = spark.sparkContext._jvm.org.apache.hadoop.fs.FileSystem.get(self.spark.sparkContext._jsc.hadoopConfiguration())

fs.delete(self.fileSystem.Path('my/dir/'))

标签： apache-sparkhadooppyspark

解决方案

推荐阅读