apache-spark - HDFS中的Pyspark重命名文件

Question

我正在使用 spark 2.3.1 并想在 pyspark 程序中重命名 HDFS 文件。我正在关注这个答案[ https://stackoverflow.com/a/58172249/12927963]（Pyspark）

对于这条线

fs.rename（路径（hdfs_dir+''+file_name），路径（hdfs_dir+''+new_filename））

我得到以下错误。

NameError：名称“路径”未定义

如果我从行中删除 Path 关键字

我收到以下错误。

Py4JError：调用 o562.rename 时出错。Trace: py4j.Py4JException: Method rename([class java.lang.String, class java.lang.String]) 不存在

那么如何解决这个问题呢？

标签： apache-sparkpysparkhdfsapache-spark-2.3

Answer 1

定义路径为

Path = sc._gateway.jvm.org.apache.hadoop.fs.Path