首页 > 解决方案 > 日志文件源的复杂事件处理

问题描述

我想处理像 CEP(复杂事件处理)这样的日志文件,但 CEP 旨在使用流,而不是日志文件作为源。

是否存在用于日志文件(带有时间戳的批处理数据)源的类似 CEP 的工具?

或者我应该将我的日志文件转换为流,然后再通过现有的 CEP 工具(或框架)处理它们?

我尝试过 FlinkCEP,它以某种方式完成了工作,但它似乎不适合复杂的事件模式,或者很难学习如何使用它。复杂事件模式的例子很少。

但是 Siddhi 呢,它适用于日志文件吗?

欧空局

标签: complex-event-processingsiddhiflink-cep

解决方案


Siddhi 将适用于日志文件,您可以将 siddhi 用作嵌入式模式,或者您也可以通过使用WSO2 Stream Processor将 siddhi 用作服务器。

在这两种情况下都使用 Siddhi文件源,并在文本映射 中使用文本映射来实现这一点。您可以定义开始和结束正则表达式模式来识别每个日志消息,并使用正则表达式提取日志中的每个元素进行处理。这将帮助您将日志转换为流,然后您将能够以流模式处理日志。


推荐阅读