kubernetes - 在 Prometheus 仪表板上触发警报

Question

是否可以通过手动停止 Kubernetes 集群上的相应服务来触发 Prometheus 仪表板上的一些警报，以验证我是否收到 Prometheus 仪表板上的问题警报？

标签： kubernetesdevopsprometheus

Answer 1

您也可以使用 Gremlin 来实现此目标。首先，使用 helm chart 在 Kubernetes 集群上安装 Gremlin 代理：https ://github.com/gremlin/helm/

接下来，使用 Gremlin 中的 Kubernetes 功能关闭特定服务。您可以通过选择 1 个 pod/1 服务或多个 pod/服务来控制爆炸半径。这是我写的关于这个主题的教程：https ://www.gremlin.com/community/tutorials/how-to-install-and-use-gremlin-with-kubernetes/ 。

验证监控和警报是混沌工程的一个很好的用例。正如您所说，通过手动停止 Kubernetes 集群上的相应服务来触发 Prometheus 仪表板上的警报。这将使您能够验证 Prometheus 仪表板上的问题警报。本教程解释了如何将 Gremlin webhook 与 Grafana 和 Prometheus 一起使用：https ://www.gremlin.com/community/tutorials/visualize-chaos-experiments-in-grafana-with-gremlin-webhooks/