elasticsearch - Kibana 发现选项卡中未显示数据

Question

我正在使用Kibana 7.5.2和Elastic search 7。

我的第一种方法：我分别使用 fluentd 和 metricbeat将日志数据和系统数据发送到我的 Kibana 服务器。一切正常。我可以在发现页面上看到数据。但是我有大量的数据。所以我在服务器之间添加了 Kafka。

我的第二种方法：现在我将日志数据和系统数据发送到 Kafka。然后从 Kafka 发送到 Kibana 服务器。对于通过 metricbeat 的系统数据，我在 Kibana 中获得了@timestamp字段，而对于通过 fluent 的日志数据，我没有获得@timestamp字段。

如果我一个接一个地运行 Kafka 服务器，一切正常。但如果我同时运行它们。系统数据未显示在发现选项卡中。

系统数据的 Kibana 索引：metricbeat-*

日志数据的 Kibana 索引：prelive-data*

流利的conf

<match laravel.**>
  @type kafka2

  # list of seed brokers
  brokers <my-Broker-ip>:9092
  <buffer topic>
    @type file
    path /var/log/td-agent/buffer/td
    flush_interval 3s
  </buffer>

  # topic settings

  # data type settings
  <format>
    @type json
  </format>
# topic settings
  topic_key prelive-data-log
  default_topic prelive-data-log

  # producer settings
  compression_codec gzip
        # max_send_retries 1
  required_acks -1
</match>

metricbeat.yml

#----------------------------- KAFKA --------------------------------
output.kafka:
#  # initial brokers for reading cluster metadata
  hosts: ["<my-broker-ip>:9092"]
  topic: 'metricbeat-7.6.0-2020.03.25-000001'

用于系统数据的 Kafka 服务器的 worker.properties (metricbeat )

offset.storage.file.filename=/tmp/connectm.offsets
bootstrap.servers=:9092
offset.flush.interval.ms=10000
rest.port=10084
rest.host.name=localhost
rest.advertised.port=10085
rest.advertised.host.name=localhost
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
plugin.path=/usr/share/java

用于系统数据的 Kafka 服务器的filesource.properties (metricbeat)

name=config-name
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=1
topics=metricbeat-7.6.0-2020.03.25-000001
key.ignore=true
schema.ignore=true
connection.url=http://<ES-IP>:9200
connection.username=username
connection.password=password
type.name=kafka-connect
~                         

用于系统数据的 Kafka 服务器的 worker.properties (fluentd )

offset.storage.file.filename=/tmp/connectf.offsets
bootstrap.servers=:9092
offset.flush.interval.ms=10000
rest.port=10082
rest.host.name=localhost
rest.advertised.port=10083
rest.advertised.host.name=localhost
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
plugin.path=/usr/share/java

用于系统数据的 kafka 服务器的filesource.properties (fluentd)

name=<config-name>
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=2
topics=prelive-data-log
key.ignore=true
schema.ignore=true
connection.url=http://<my-ES-ip>:9200
connection.username=username
connection.password=password
type.name=kafka-connect

我正在运行我的 Kafka 服务器/usr/bin/connect-standalone worker.properties filesource.properties

我在这里被困了一个星期。任何帮助，将不胜感激。

标签： elasticsearchapache-kafkakibanafluentd