时间戳

首页 > 解决方案 > Elasticsearch 写入队列分布不均

elasticsearch - Elasticsearch 写入队列分布不均

问题描述

我有一个基于文档路由的数据分布均匀的集群_id- 这是一个随机字符串。在正常操作期间，搜索和写入集群是通过均匀分布完成的。但是，在集群中批量更新文档几分钟后，似乎只有 1-2 个节点在工作。

这是运行几分钟后批量更新操作的样子 -

  q  qs        node_id

  0 200 Wd5JFj4gRk-9pKL_Jubd3w
  0 200 FQ86BI1ASUS0tu-XQMuk6w
  0 200 dMeO029LSiqjwicm3YP8JA
  0 200 b8zAduWdRyO7P9Lz7hSFBQ
  0 200 K0o4v_mHRqSRNZWJpzvJPQ
224 200 HN1yQG_hRF2eiCyy_0Dpcg
  0 200 GXsc0FKsSUemue-e1Cuzsg
  0 200 LcDaZoipQA63UOg0_WHguA
  0 200 PdKFe7nLRaCnEqECNLpFvg
  0 200 glani3PYQ4qppwzvLQnjIQ
  0 200 T9jqycccQ-a03YtUCGVy0w

如您所见，HN1y节点变得非常活跃，而其他节点似乎变得安静。更新的总吞吐量急剧下降，解决它的唯一方法是暂停批量更新操作，等待一分钟，然后恢复。在这一点上，我们经历了相同的均匀分布步骤，最终一个节点似乎完成了所有的工作。

集群怎么会陷入这样的境地？这是否表明确实存在分布不均，还是发生了其他事情？

标签： elasticsearch

解决方案

推荐阅读