elasticsearch - 为 ELK 规划容量需要考虑哪些因素？

Question

我对 ELK 堆栈非常陌生，并试图了解它。我想了解如果如何规划 100GB/天数据保留 30 天的容量，如何规划。数据主要是访问日志、应用日志、事件。我将需要运行一些正则表达式来填充数据字段（除非有任何默认分隔符支持）。我打算保留它的 3 个副本。

如果这需要多少台服务器和什么类型的配置，请有人指导我吗？

首先十分感谢 。

标签： elasticsearchlogstashkibanaelastic-stackcapacity-planning

Answer 1

我们使用集群弹性搜索实例的“热温架构”（文档）（您可以在一台服务器上运行多个！）。每个有 31g 内存。

我们的“热”实例配置了 3 天的保留时间和 ssd RAID。在这三天之后，数据被移动到保留时间为（30 - 90 天）的“温暖”HD Raid。这很好，因为由于 ssds，在 kibana 中搜索的最新数据处理得非常快。

有时我们在单个服务器上启动 1 个 Elastic Master（4g 内存）和 2 个 Elastic Clients（31g 内存）。

在我看来，这样的机器至少应该有 128g 左右的内存，1tb ssd 容量，4-6tb hd 容量。