bigdata - 是否有任何包含支持定义按需查询的 UI 的可扩展数据流框架？

Question

假设我正在摄取实时数据，并希望实时查看数据的最终用户能够以不同的方式对信息进行分组，并快速获得代表新分组的视图。

因此，例如，如果数据是电子商务网站上的所有交易，并且用户正在查看交易的实时网格（例如，在类似 Kibana 的网站中，通过 websocket 传递实时数据）并希望按国家并按交易的名义价格查看前 10 个国家，用户界面会将该命令发送到服务器，服务器将进行所有必要的计算，以向用户提供最高国家的汇总名义，并不断更新该流随着新数据的处理。

我知道有一些框架（例如 Flink、Storm、Kafka Streams）可以让您在代码中定义此类计算，但是是否有任何框架可以让用户选择不同的聚合并实时设置它们？

标签： bigdataapache-flinkstream-processing

Answer 1

Flink 可以开箱即用地做到这一点，使用 Flink SQL 和 SQL 客户端。您可以交互地创建动态的、持续更新的查询，将其结果流式传输到 Elasticsearch（例如）。

这个演讲是一个很好的介绍，展示了什么是可能的。它包括一堆示例查询，并在 MySQL 之上使用 Grafana 进行仪表板。如果您愿意，您可以对 Elasticsearch/Kibana 执行相同的操作。