apache-kafka - 用于大规模点击流数据的 Prometheus 用例

Question

我们正在获取网站点击流数据（以每分钟 1 亿次事件的规模）

现在我们当前的管道将所有这些事件放在 Kafka 上，并在那里形成火花以进行聚合，最后简单的指标被存储到石墨中

我在想的是直接从 Kafka 使用 Prometheus 并以分布式方式摄取 1 亿个事件，例如从 n 个实例

Spark 聚合很简单，所以我正在考虑这种直接摄取。

我的问题是有没有人为 Prometheus 做过这样的用例和规模。

标签： apache-kafkaprometheus