首页 > 解决方案 > 在 AWS 中设置自动 HDFS

问题描述

我最近一直致力于寻找一种经济高效且快速的方法来在 AWS 上设置 HDFS 集群。一方面,AWS EMR 服务可以快速启动和运行,但成本很高,因为它不允许在不使用时关闭集群。另一方面,可以在 EBS 支持的 EC2 实例上手动设置 HDFS。由于这些实例是 EBS 支持的,因此即使机器关闭,数据也会保留。这种方式成本效益高,但耗时。如果集群包含 50 台机器,则手动配置每台机器将花费大量时间。此外,集群机器需要具有固定的 DNS 名称才能在重新启动后正确运行。

是否有 AWS 服务可以让我们在几分钟内启动 HDFS 集群并且还具有成本效益?

标签: amazon-web-serviceshadoophdfs

解决方案


推荐阅读