时间戳

首页 > 解决方案 > Hadoop 得到了预期的 JSON。是否启用了 WebHDFS？得到 ''

python - Hadoop 得到了预期的 JSON。是否启用了 WebHDFS？得到 ''

问题描述

当我尝试时，我已经在 hadoop 中有多个 csv 文件

hdfs = pyhdfs.HdfsClient(hosts='34.71.193.160:8123', user_name='root')

files_name = hdfs.listdir('/user/input/')

收到此错误消息，找不到解决方法

HdfsException: Expected JSON. Is WebHDFS enabled? Got ''

标签： pythonhadoophdfswebhdfs

解决方案

我在 Jupyte Notebook Pyspark 上做这些东西

Spark 可以直接从 NameNode 读取。不要使用 WebHDFS

例如逐行读取目录中的所有文件

df = spark.read.csv("/user/input")
df.show()

推荐阅读