时间戳

首页 > 解决方案 > Filebeat 在读取纱线日志时有时会停止

logstash - Filebeat 在读取纱线日志时有时会停止

问题描述

我正在使用 filebeat 来发送 hadoop 的纱线日志数据。我使用的是filebeat-7.5.1

filebeat.inputs:
- type: log
  enabled: true

  paths:
    - /root/hadoop/userlogs/**/stderr
    - /root/ingest-logs/ingest.log
    - /root/root-logs/root.log

这是 filebeat.yml 中提到的配置

2020-04-01T16:12:54.871+0530 INFO kafka/log.go:53 producer/broker/1 最大请求累计，等待空间

2020-04-01T16:12:54.896+0530 INFO kafka/log.go:53 producer/broker/1 最大请求累计，等待空间

2020-04-01T16:12:55.876+0530 INFO kafka/log.go:53 producer/broker/1 最大请求累计，等待空间

2020-04-01T16:13:05.950+0530 INFO beater/filebeat.go:443 停止 filebeat

2020-04-01T16:13:05.951+0530 INFO crawler/crawler.go:139 停止爬虫

2020-04-01T16:13:05.956+0530 INFO crawler/crawler.go:149 停止 1 个输入

2020-04-01T16:13:05.962+0530 INFO input/input.go:149 输入代码停止

2020-04-01T16:13:05.962+0530 INFO input/input.go:167 停止输入：4626669614810496825

2020-04-01T16:13:05.962+0530 INFO log/harvester.go:272 阅读器已关闭：/scratch/oba/logs/hadoop/userlogs/application_1582785823666_2626/container_1582785823666_2626_01_000002/stderr。关闭。2020-04-01T16:13:05.962+0530 INFO log/harvester.go:272 阅读器已关闭：/root/ingest-logs/ingest.log。关闭。

2020-04-01T16:13:05.962+0530 INFO log/harvester.go:272 阅读器已关闭：/root/ingest-logs/ingest.log。关闭。

2020-04-01T16:13:05.962+0530 INFO log/harvester.go:272 阅读器已关闭：/root/hadoop/userlogs/application_1582785823666_2626/container_1582785823666_2626_01_000001/stderr。关闭。

2020-04-01T16:13:05.961+0530 INFO cfgfile/reload.go:229 动态配置重新加载器已停止

2020-04-01T16:13:05.971+0530 INFO 爬虫/crawler.go:165 爬虫停止

2020-04-01T16:13:05.971+0530 INFO registrar/registrar.go:367 停止注册商

2020-04-01T16:13:05.971+0530 INFO registrar/registrar.go:293 结束 Registrar

我担心纱线和非活动日志文件中的滚动日志。会不会影响filbeat的工作。您能否建议在 filebeat 中保持 filebeat 活动所需的更改。

标签： logstashkibanahadoop-yarnelastic-stackfilebeat

解决方案

推荐阅读