json - elasticsearch 用于 DWH 可视化的 POC
问题描述
我只是在探索 ELK 堆栈，我们正在寻找使用弹性搜索来进行 DWH 分析和可视化。我无法想象的一种情况是，如何保留仓库中的现有数据以转换为文档。
例如
我们的跨国数据包括 device_ids 及其各自的状态，就状态而言，我们每天有 30000 个 ids（大约）。像“事务表 T1”列：Date,Device_id,type,alarm1,state,comments
“查找表”T2 列：device_id,user_id
这 30000 个加上 device_id 与 5000 个（大约）用户映射，基于他们可以看到各自的设备状态。
问题是，如果我在弹性搜索中对这种结构进行规范化，那么我最终每天将拥有 30000*5000 = 1.5 亿个文档，这不是肯定的方法。
与在 RDBMS 中一样，您保持规范化结构以最小化数据大小和加载效率，我们可以在弹性搜索中对这些数据进行建模，以便在 kibana 的最终输出中保持基于用户的访问不变。我不熟悉如何在弹性搜索中建模。
感谢您对此的建议。