amazon-web-services - 设置多节点 Hadoop Hortonworks 集群
问题描述
我正在研究 hadoop 中的概念验证，我可能会使用 HDP 和 HDF hortonwork 组件设置一个集群。
数据量真的很小，所以如果我没记错的话，每个节点的磁盘量可能不需要超过10 GB。
主节点和从节点的 CPU 数量和 RAM 的考虑标准是什么？
解决方案
在您的情况下，您可能正在跨多个节点执行 MapReduce 作业。根据我目前的知识，从节点在任何 CPU 配置和 2/4 GB RAM 下都可以正常运行。对于主节点，您可能需要一台至少具有 4 核、单/双插槽 CPU、8 GB RAM 的机器。
推荐阅读
- sql - SQL where date1 比 date2 大 3 天
- java - 集成测试包含什么以及如何设置它们
- tomcat - Tomcat 8 - 语句缓存设置
- apache-kafka - 测试 kafka 是否准备好，可以从 cli 访问主题
- opencv - 为什么我的 cv::Mat-Matrix 稀疏而不密集？
- python - 为什么 python 在我的 Surface Book 2 上运行这么慢
- three.js - How can I move only specific vertices from my vertexshader ? (And how to choose them)
- javascript - 如何使用反应钩子对组件进行单元测试？
- c# - 循环访问 Windows 窗体控件并将名称导出到列表
- crystal-reports - 使用 if 语句不断收到基本语法错误