首页 > 技术文章 > 我 对logstash 采集过程的理解

webnginx 2020-09-05 11:52 原文

 

logstash  大致分为三个部分 Input  filter 和 output

input 采集数据或者其它filebeat 传过来的数据,在input 开始是data数据,出了input 就是event   

           data数据  ------》input -----》 event 事件 -----》query   -------->filter  -------------》output

 

 

logstash 采集过滤和输出的过程

数据到了input会把原始数据转换成event 事件传送到query ,query 可以基于内存或者磁盘来做,磁盘可以保证数据不丢失,内存是内置大小的,不能设定。

pipline:pipeline.workers=2  工作线程会从 query 获取数据到filter 过滤再到output, pipline线程是根据batcher 来定时获取的,基于以下两个参数

pipeline.batch.size: 125
pipeline.batch.delay: 5

推荐阅读