时间戳

首页 > 解决方案 > Hadoop不使用IP无法访问datanode

docker - Hadoop不使用IP无法访问datanode

问题描述

我有以下系统：

我已经在 Docker（Ubuntu，Virtual Box）中安装了 HDFS。我使用了来自 Docker Hub 的 bde2020 hadoop 映像。这是我的码头工人撰写：

namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8
    container_name: namenode
    restart: always
    ports:
      - 9870:9870
      - 9000:9000
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env
    networks: 
      control_net:
        ipv4_address: 10.0.1.20
  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8
    container_name: datanode
    restart: always
    ports:
      - 9864:9864
    volumes:
      - hadoop_datanode:/hadoop/dfs/data
    environment:
      SERVICE_PRECONDITION: "namenode:9870"
    env_file:
      - ./hadoop.env
    networks: 
      control_net:
        ipv4_address: 10.0.1.21
  resourcemanager:
    image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.2.1-java8
    container_name: resourcemanager
    restart: always
    environment:
      SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864"
    env_file:
      - ./hadoop.env
    networks: 
      control_net:
        ipv4_address: 10.0.1.22
  nodemanager1:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.2.1-java8
    container_name: nodemanager
    restart: always
    environment:
      SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864 resourcemanager:8088"
    env_file:
      - ./hadoop.env
    networks: 
      control_net:
        ipv4_address: 10.0.1.23
  historyserver:
    image: bde2020/hadoop-historyserver:2.0.0-hadoop3.2.1-java8
    container_name: historyserver
    restart: always
    environment:
      SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864 resourcemanager:8088"
    volumes:
      - hadoop_historyserver:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env
    networks: 
      control_net:
        ipv4_address: 10.0.1.24        
volumes: 
  hadoop_namenode:
  hadoop_datanode:
  hadoop_historyserver:   
networks:
  processing_net:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 10.0.0.0/24
          gateway: 10.0.0.1

我的 hdfs-site.xml 是：

<configuration>

<property><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value></property>
<property><name>dfs.webhdfs.enabled</name><value>true</value></property>
<property><name>dfs.permissions.enabled</name><value>false</value></property>
<property><name>dfs.namenode.name.dir</name><value>file:///hadoop/dfs/name</value></property>
<property><name>dfs.namenode.rpc-bind-host</name><value>0.0.0.0</value></property>
<property><name>dfs.namenode.servicerpc-bind-host</name><value>0.0.0.0</value></property>
<property><name>dfs.namenode.http-bind-host</name><value>0.0.0.0</value></property>
<property><name>dfs.namenode.https-bind-host</name><value>0.0.0.0</value></property>
<property><name>dfs.client.use.datanode.hostname</name><value>true</value></property>
<property><name>dfs.datanode.use.datanode.hostname</name><value>true</value></property>
</configuration>

如果我在导航器中从 Linux（在 Virtual Box 内）编写：

http://10.0.1.20:9870

然后我可以访问 Hadoop web ui。

如果我从 Windows（主机系统，在 Virtual Box 外部）的导航器中写入：

http://192.168.56.1:9870然后我也可以访问（我已映射此 IP 以便能够从 Virtual Box 外部连接）。

但是当我在 web ui 中导航并且我想下载文件时会出现问题。然后导航器说它无法连接到服务器 dcfb0bf3b42c 并在地址选项卡中显示如下一行：

http://dcfb0bf3b42c:9864/webhdfs/v1/tmp/datalakes/myJsonTest1/part-00000-0009b521-b474-49e7-be20-40f5e8b3a7b4-c000.json?op=OPEN&namenoderpcaddress=namenode:9000&offset=0

如果我将此部分“dcfb0bf3b42c”更改为 IP：10.0.1.21（来自 Linux）或 192.168.56.1（来自 Windows），它将正常工作并下载文件。

我需要自动化这个过程以避免每次都需要手动编写 IP，因为我需要使用程序来访问 HDFS 数据（Power BI），并且当它尝试访问数据时由于上述问题而失败。

我是 Hadoop 新手。我可以通过编辑任何配置文件来解决这个问题吗？

标签： dockerhadoophdfswebhdfsdatanode

解决方案

最后，我找到了解决这个问题的方法。

步骤是：

1- 使用 docker-compose 中的 de 主机名标签作为@smart_coder 在评论中建议的所有服务：

hostname:datanode

2- 编辑（在 Linux 中）/etc/hosts 文件并添加路由到我的服务的 ip（在这种情况下，我需要将“datanode”映射到它的 IP）所以我将此行添加到 /etc/hosts 文件：

192.168.56.1 datanode

（这是一个真正的 IPv4 IP，如果我添加 10.0.1.21 这是在我的 docker-compose 中创建的 Docker IP 也适用于 Linux，但我不确定它是否可以从 Windows 访问）。通过第二步，我们可以将“datanode”一词解析为 IP 192.168.56.1，这将（仅）在我的 Linux 客户机中工作。

但是请记住，从我的第一个评论中，我已经将我的 windows IP (192.168.56.1) 映射到我的 Docker (Linux) IP (10.0.1.21) 所以如果你只使用 Linux，你可以写你的 IP 在你的 Docker 撰写文件，它会工作。

3- 通过执行以下步骤编辑（在 Windows 中）/etc/hosts 文件：

  • 按 Windows 键
  • 写记事本
  • 右键->以管理员身份运行
  • 从记事本中打开文件：C:\Windows\System32\Drivers\etc\hosts（c 是我的硬盘驱动器，因此如果您的硬盘有其他名称，地址可能会有所不同）。
  • 我补充说：

192.168.56.1 datanode

  • 节省

第三步允许将单词“datanode”解析为 Windows 主机的 IP 192.168.56.1。在这些步骤之后，我可以下载从我的 Linux 客户机（位于 VirtualBox 中）和我的 Windows 主机访问的文件。

推荐阅读