logstash - 在 Kibana 中，我的字段包含问号“？”未显示在指标字段中

Question

在 Kibana 中，我有包含问号的字段?。目标是创建一个过滤器，排除字段中包含问号的所有条目。所以，当我试图在聚合下创建一个指标时，标记中的Term那些字段在?那里不可见，请帮助理解新手..

下面是logstash.conf 我正在使用的过滤器以及我所附的屏幕截图，请提出我在做什么错误以及可以做什么..

我有 ELK 版本：6.2.x

# cat logstash-syslog.conf
input {
  file {
    path => [ "/scratch/rsyslog/*/messages.log" ]
    type => "syslog"
  }
  file {
    path => [ "/scratch/rsyslog/Aug/messages.log" ]
    type => "apic_logs"
  }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp } %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
 }
}
  if [type] == "apic_logs" {
    grok {
      match => { "message" => "%{CISCOTIMESTAMP:syslog_timestamp} %{CISCOTIMESTAMP} %{SYSLOGHOST:syslog_hostname} (?<prog>[\w._/%-]+) %{SYSLOG5424SD:f1}%{SYSLOG5424SD:f2}%{SYSLOG5424SD:f3}%{SYSLOG5424SD:f4}%{SYSLOG5424SD:f5} %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
   }
 }
}
output {
        if [type] == "syslog" {
        elasticsearch {
                hosts => "noida-elk:9200"
                manage_template => false
                index => "syslog-%{+YYYY.MM.dd}"
                document_type => "messages"
  }
 }
}

output {
        if [type] == "apic_logs" {
        elasticsearch {
                hosts => "noida-elk:9200"
                manage_template => false
                index => "apic_logs-%{+YYYY.MM.dd}"
                document_type => "messages"
  }
 }
}

标签： logstashelastic-stackkibana-6

Answer 1

我解决了我的问题！

为什么我看到符号？按 Kibana Discover 页面中的字段在 Kibana 中打开 Discover 页面时，您可能会看到一个问号？通过可用字段部分中列出的字段而不是字符 t。当您重新加载字段列表时，会分析字段的类型，并且问号 ? 被字符 t 替换。

请务必include system indices在下面的屏幕截图中选中标记最右侧的框。

重新排列表格中的字段列 您可以重新排列表格中的字段列。将鼠标悬停在要移动的列的标题上，然后单击将列移动到左侧按钮或将列移动到右侧按钮。

重新加载字段列表完成以下步骤以重新加载 Kibana 中显示的字段列表：

选择管理页面，然后选择索引模式以列出可用的索引。

为您的空间选择索引模式以查看 Elasticsearch 记录的每个字段以及该字段的关联核心类型。

单击重新加载字段列表按钮重新加载字段列表以重新加载索引模式字段。

字段列表被刷新。