首页 > 技术文章 > 通过docker快速搭建hadoop集群

fluffy 2017-06-08 17:11 原文

目标:

没有过多的配置,创建一个可以使用的hadoop集群。

docker运行在ubuntu16.10上

在windows下编写代码可以提交任务到hadoop中

1. 配置网络

docker network create --driver=bridge hadoop

2. 拉取镜像 自动化脚本

docker pull kiwenlau/hadoop:1.0

git clone https://github.com/kiwenlau/hadoop-cluster-docker

3. 启动docker后会自动进入容器

cd hadoop-cluster-docker

sudo ./start-container.sh

4. 启动hadoop 运行测试用例

./start-hadoop.sh

./run-wordcount.sh

设置本地访问到hadoop集群

进入容器后, 使用ip a得到IP地址为172.18.0.2

docker 的宿主机IP为192.168.131.128


为了使windows环境下可以访问172.18.0.2

在windows上使用如下命令添加静态路由

route -p add 172.18.0.0 mask 255.255.0.0 192.168.131.128

推荐阅读