splunk-query - Kubernetes 记录垃圾邮件 Splunk

Question

我有时会遇到 Kubernetes 容器向 Splunk 发送数百 GB 日志的问题。我想进行搜索以跟踪日志突然出现峰值并生成警报的容器。

进一步来说：

1. 查看平均事件发生率
2. 找到高峰
3. 决定那个峰值的百分比
4. 然后在容器超出阈值时触发警报。

我想出的最接近的是下面的搜索，它按小时计算了该速率的平均速率和标准偏差：

index="apps" sourcetype="kube"
| bucket _time span=1h
| stats count as CountByHour by _time, kubernetes.container_name
| eventstats avg(CountByHour) as AvgByKCN stdev(CountByHour) as StDevByKCN by kubernetes.container_name

标签： splunk-query