时间戳

首页 > 解决方案 > 空闲 AMQ Artemis 集群上的 CPU 使用率高，与共享存储 HA 的锁有关

high-availability - 空闲 AMQ Artemis 集群上的 CPU 使用率高，与共享存储 HA 的锁有关

问题描述

我有 AMQ Artemis 集群，共享存储 HA（主从），2.17.0。

我注意到我所有空闲的集群（仅限活动服务器）（没有人使用它们）使用 10% 到 20% 的 CPU，除了一个使用大约 1%（完全正常）的集群。我开始调查...

长话短说 - 只有一个集群的 CPU 使用率完全正常。我设法发现的唯一区别是，如果我连接到该普通集群的主节点并尝试telnet slave 61616-它将显示为已连接。如果我在任何其他集群（具有高 CPU 使用率）中执行相同操作 - 它将显示为被拒绝。

为了更好地了解正在发生的事情，我启用DEBUG了登录instance/etc/logging.properties。以下是主节点发送的垃圾邮件：

2021-05-07 13:54:31,857 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Backup is not active, trying original connection configuration now.
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Trying reconnection attempt 0/1
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Trying to connect with connectorFactory = org.apache.activemq.artemis.core.remoting.impl.netty$NettyConnectorFactory@6cf71172, connectorConfig=TransportConfiguration(name=slave-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory) ?trustStorePassword=****&port=61616&keyStorePassword=****&sslEnabled=true&host=slave-com&trustStorePath=/path/to/ssl/truststore-jks&keyStorePath=/path/to/ssl/keystore-jks
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Connector NettyConnector [host=slave.com, port=61616, httpEnabled=false$ httpUpgradeEnabled=false, useServlet=false, servletPath=/messaging/ActiveMQServlet, sslEnabled=true, useNio=true] using native epoll
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client] AMQ211002: Started EPOLL Netty Connector version 4.1.51.Final to slave.com:61616
2021-05-07 13:54:32,358 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Remote destination: slave.com/123.123.123.123:61616
2021-05-07 13:54:32,358 DEBUG [org.apache.activemq.artemis.spi.core.remoting.ssl.SSLContextFactory] Creating SSL context with configuration
trustStorePassword=****
port=61616
keyStorePassword=****
sslEnabled=true
host=slave.com
trustStorePath=/path/to/ssl/truststore.jks
keyStorePath=/path/to/ssl/keystore.jks
2021-05-07 13:54:32,448 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Added ActiveMQClientChannelHandler to Channel with id = 77c078c2
2021-05-07 13:54:32,448 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Connector towards NettyConnector [host=slave.com, port=61616, httpEnabled=false, httpUpgradeEnabled=false, useServlet=false, servletPath=/messaging/ActiveMQServlet, sslEnabled=true, useNio=true] failed

这是奴隶发送的垃圾邮件：

2021-05-07 14:06:53,177 DEBUG [org.apache.activemq.artemis.core.server.impl.FileLockNodeManager] trying to lock position: 1
2021-05-07 14:06:53,178 DEBUG [org.apache.activemq.artemis.core.server.impl.FileLockNodeManager] failed to lock position: 1

如果我尝试从主节点远程登录到从节点（如果我从从节点到从节点也是如此）：

[root@master]# telnet slave.com 61616
Trying 123.123.123.123...
telnet: connect to address 123.123.123.123: Connection refused

但是，如果我在唯一的工作集群中尝试相同的 telnet，我可以成功地从主服务器“连接”到从服务器......

这是我怀疑的：

  1. 主人获得锁定instance/data/journal/server.lock
  2. 主服务器不断尝试连接从服务器
  3. 从站无法启动，因为它无法server.lock在共享存储上获取相同的信息。
  4. 由于如此努力地尝试连接到未运行的从站，主站使用高 CPU 。

我究竟做错了什么？

编辑：这就是我的 NFS 挂载的样子（取自mount命令）：

some_server:/some_dir on /path/to/artemis/instance/data type nfs4 (rw,relatime,sync,vers=4.1,rsize=65536,wsize=65536,namlen=255,acregmin=0,acregmax=0,acdirmin=0,acdirmax=0,soft,noac,proto=tcp,timeo=50,retrans=1,sec=sys,clientaddr=123.123.123.123,local_lock=none,addr=123.123.123.123)

标签： high-availabilityactivemq-artemis

解决方案

原来问题出在broker.xml配置中。在static-connectors我不知何故决定只列出一个“非当前服务器”（例如，我有 srv0 和 srv1 - 在 srv0 我只添加了 srv1 的连接器，反之亦然）。

它曾经是什么（在第一个master节点上）：

<cluster-connections>
    <cluster-connection name="abc">
        <connector-ref>srv0-connector</connector-ref>
        <message-load-balancing>ON_DEMAND</message-load-balancing>
        <max-hops>1</max-hops>
        <static-connectors>
           <connector-ref>srv1-connector</connector-ref>
        </static-connectors>
    </cluster-connection>
</cluster-connections>

现在情况如何（在第一个master节点上）：

<cluster-connections>
    <cluster-connection name="abc">
        <connector-ref>srv0-connector</connector-ref>
        <message-load-balancing>ON_DEMAND</message-load-balancing>
        <max-hops>1</max-hops>
        <static-connectors>
           <connector-ref>srv0-connector</connector-ref>
           <connector-ref>srv1-connector</connector-ref>
        </static-connectors>
    </cluster-connection>
</cluster-connections>

列出所有集群的节点后，CPU 正常化，它不仅在活动节点上约为 1%。该问题与 AMQ Artemis 连接垃圾邮件或文件锁定完全无关。

推荐阅读