complex-event-processing - 日志文件源的复杂事件处理
问题描述
我想处理像 CEP(复杂事件处理)这样的日志文件,但 CEP 旨在使用流,而不是日志文件作为源。
是否存在用于日志文件(带有时间戳的批处理数据)源的类似 CEP 的工具?
或者我应该将我的日志文件转换为流,然后再通过现有的 CEP 工具(或框架)处理它们?
我尝试过 FlinkCEP,它以某种方式完成了工作,但它似乎不适合复杂的事件模式,或者很难学习如何使用它。复杂事件模式的例子很少。
但是 Siddhi 呢,它适用于日志文件吗?
欧空局
解决方案
Siddhi 将适用于日志文件,您可以将 siddhi 用作嵌入式模式,或者您也可以通过使用WSO2 Stream Processor将 siddhi 用作服务器。
在这两种情况下都使用 Siddhi文件源,并在文本映射 中使用文本映射来实现这一点。您可以定义开始和结束正则表达式模式来识别每个日志消息,并使用正则表达式提取日志中的每个元素进行处理。这将帮助您将日志转换为流,然后您将能够以流模式处理日志。
推荐阅读
- c# - 使用 WPF MVVM 更新与 DataGrid 控件(MaterialDesign 主题)绑定的数据并附加行为?
- javascript - 如何使用 WebUSB 获取设备描述符?
- vue.js - 如何使用 Nuxt.js 在 Vuex 中设置和使用路由器
- tomcat - 每天,catalina.out 文件都是空的(0 字节)。我重新启动tomcat并重新填充。第二天又是空的
- r - `R`在`Mojave`的`anaconda 3`中不起作用
- dialogflow-es - 谷歌操作列表选择匹配错误的意图
- circuit-sdk - 有没有办法创建一个用户不必登录的聊天框?
- python - 正则表达式在某些字符之前查找文本
- sql-server - 自 2000 年起的 SQL Server 7.0,视图定义的 DTS 损坏
- mysql - MySQL选择最大日期和确切日期的订单