logging - Hive 批处理作业的日志记录和监控

Question

这是我在这个论坛的第一个问题。我正在将配置单元批处理作业日志写入配置单元日志表中，因为每个步骤完成。我INSERT INTO TABLE用于将日志写入配置单元表。在 hive 中，为每个批处理作业 ID 创建了多条记录，因此我正在创建一个视图来组合在监控工具中使用之前收集的日志记录数据。您能否建议任何更好的解决方案来实现这一目标？

笔记：

1. 我的批处理作业有多个步骤，我喜欢从每个步骤中收集日志
2. 我不想使用更新
3. 我无法上传图片。 Batch Job -> Logs -> Hive -> Monitoring

标签： logginghivearchitecturebatch-processing

Answer 1

这是我可以建议的参考架构之一。您仍然可以使用 Hive 进行日志记录，但可以SERDEPROPERTIES用于与HBase.

好处：

• 数据将存储在 HBase 中，这将允许决定数据覆盖的 KEY（例如：批处理作业 ID）
• HBase 将维护版本
• 您可以按照通常访问 Hive 表的方式查询 Hive
• 使用 HBase 数据的实时仪表板

高级图：