时间戳

首页 > 解决方案 > 自定义 Ambari 服务的 Ambari 用户和组管理

hortonworks-data-platform - 自定义 Ambari 服务的 Ambari 用户和组管理

问题描述

我使用 Custom Ambari Services 已经有一段时间了。我已经能够安装几个不同的自定义组件。我创建了几个管理包，并认为自己在使第三方服务在 Ambari 中工作方面非常有经验。

每当我安装自定义服务时，我都会收到用户 KeyError，例如 Elasticsearch：

Traceback (most recent call last):
  File "/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py", line 38, in <module>
    BeforeAnyHook().execute()
  File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 352, in execute
    method(env)
  File "/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py", line 31, in hook
    setup_users()
  File "/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/shared_initialization.py", line 50, in setup_users
    groups = params.user_to_groups_dict[user],
KeyError: u'elasticsearch'
Error: Error: Unable to run the custom hook script ['/usr/bin/python', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py', 'ANY', '/var/lib/ambari-agent/data/command-15.json', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY', '/var/lib/ambari-agent/data/structured-out-15.json', 'INFO', '/var/lib/ambari-agent/tmp', 'PROTOCOL_TLSv1_2', '']

一个已知的解决方法是执行 python 命令来关闭用户/组管理：

python /var/lib/ambari-server/resources/scripts/configs.py -u admin -p admin -n [CLUSTER_NAME] -l [CLUSTER_FQDN] -t 8080 -a set -c cluster-env -k  ignore_groupsusers_create -v true

但是，如果您想再次安装本机服务，这会使集群处于不良状态。如果我执行 python 命令重新打开用户/组管理，下一次本机服务安装将再次因第三方用户密钥对象错误而失败。

是否存在包含 ambari 管理的用户和组的列表或键值对象的数据库表？ 满足最初的错误似乎是唯一的交钥匙解决方案。

我尝试自己定位键值对象，也尝试创建用户组，甚至尝试修改执行安装的代理/服务器代码。接下来我会尝试更多，但我认为这对于 SO 来说可能是一个很好的第一篇文章。

标签： hortonworks-data-platformambarihdp

解决方案

被同样的错误困住了几个小时，这是调查的结果。

首先，我们需要知道 Ambari 有一个主要组用于堆栈中的所有服务。其次，用户的创建非常隐蔽，一看你就永远猜不到创建的时间和地点以及参数的来源。

最后还有一个问题，我们如何设置params.user_to_groups_dict[user]？

'主要组'设置在<stack_name>/<stack_version>/configuration/cluster-env.xml，对我来说是HDP/3.0/configuration/cluster-env.xml：

  <property>
    <name>user_group</name>
    <display-name>Hadoop Group</display-name>
    <value>hadoop</value>
    <property-type>GROUP</property-type>
    <description>Hadoop user group.</description>
    <value-attributes>
      <type>user</type>
      <overridable>false</overridable>
    </value-attributes>
    <on-ambari-upgrade add="true"/>
  </property>

该参数将在服务中的任何地方使用来声明该组，例如 zookeeper 具有 env.xml，例如：

  <property>
    <name>zk_user</name>
    <display-name>ZooKeeper User</display-name>
    <value>sdp-zookeeper</value>
    <property-type>USER</property-type>
    <description>ZooKeeper User.</description>
    <value-attributes>
      <type>user</type>
      <overridable>false</overridable>
      <user-groups>
        <property>
          <type>cluster-env</type>
          <name>user_group</name>
        </property>
      </user-groups>
    </value-attributes>
    <on-ambari-upgrade add="true"/>
  </property>

value-attributes:有一个魔法，它user-groups有一个链接到cluster-envtouser_group参数的属性。这就是我们正在寻找的联系。

答案是设置用户参数，如 zookeeper 用户。

向导搜索堆栈并找到正确的用户/组来管理您使用向导选择的服务。

包含 的地图params.user_to_groups_dict将在集群向导的运行时创建，并且在以下位置可用/var/lib/ambari-agent/data/command-xy.json：

    "clusterLevelParams": {
        "stack_version": "3.0",
        "not_managed_hdfs_path_list": "[\"/tmp\"]",
        "hooks_folder": "stack-hooks",
        "stack_name": "HDP",
        "group_list": "[\"sdp-hadoop\",\"users\"]",
        "user_groups": "{\"httpfs\":[\"hadoop\"],\"ambari-qa\":[\"hadoop\",\"users\"],\"hdfs\":[\"hadoop\"],\"zookeeper\":[\"hadoop\"]}",
        "cluster_name": "test",
        "dfs_type": "HDFS",
        "user_list": "[\"httpfs\",\"hdfs\",\"ambari-qa\",\"sdp-zookeeper\"]"
    },

推荐阅读