时间戳

首页 > 解决方案 > 如何在 hadoop 工作机器之间同步配置

linux - 如何在 hadoop 工作机器之间同步配置

问题描述

我们有巨大的 hadoop 集群，我们安装了一个协调器 preso 节点和 850 个 presto 工作节点。现在我们要更改文件中的值 -config.properties但这应该在所有工作人员身上完成！

所以下

  /opt/DBtasks/presto/presto-server-0.216/etc

文件是这样的

[root@worker01 etc]# more config.properties
#
coordinator=false
http-server.http.port=8008
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://master01.sys76.com:8008

我们想把它改成

coordinator=false
http-server.http.port=8008
query.max-memory=500GB
query.max-memory-per-node=5GB
query.max-total-memory-per-node=20GB
discovery.uri=http://master01.sys76.com:8008

但这仅在第一个节点 -worker01 上完成，但我们也需要在所有工作人员上执行此操作。好吧 - 我们可以通过 scp 将此文件复制到所有其他工作人员，但如果 root 受到限制但我想知道的是，如果 presto 已经考虑更优雅的方法，在我们设置后同步所有工作人员节点上的配置我们还需要重新启动 presto loucer 脚本的新值

剂量 presto 有解决方案吗？

我必须告诉我我的集群是受限的 root ，所以我们不能通过 ssh 复制文件

标签： linuxhadoopredhatpresto

解决方案

Presto 无法同步配置。这是您需要在外部管理的事情，例如使用 Ansible 之类的工具。还有项目命令行工具 presto-admin ( https://github.com/prestosql/presto-admin ) 可以帮助在集群中部署配置。

此外，如果您使用 AWS 等公共云，Starburst ( https://www.starburstdata.com/ ) 提供的商业解决方案也可以帮助管理配置。

推荐阅读