时间戳

首页 > 解决方案 > splunk 的日志被截断

splunk - splunk 的日志被截断

问题描述

我正在使用 fluentd 将我的 Kubernetes pod 日志转发到 splunk，但在 splunk 中，当它们被截断时，我无法看到完整长度的 pod 日志。例如，我们有 74286 个字符的单行日志长度，但 splunk 仅显示 16385 个字符。我能做些什么来克服这个问题？

这样我已经在 fluentd configmap 中进行了配置。

<match **>
      @id splunk
      @type splunk-hec
      @log_level info
      server "#{ENV['FLUENT_SPLUNK_HOST']}"
      protocol https
      verify false
      host "#{ENV['CLUSTER_NAME']}_#{ENV['NODE_NAME']}"
      token "#{ENV['FLUENT_SPLUNK_TOKEN']}"
      index "#{ENV['SPLUNK_INDEX']}"
      buffer_type memory
      buffer_queue_limit 256
      buffer_chunk_limit 8m
      batch_size_limit 8000000
      flush_interval 1s
    </match>

标签： splunkfluentd

解决方案

默认情况下，Splunk 应该在 10,000 个字符处截断。您可以在 props.conf 文件中更改它。

[mysourcetype]
TRUNCATE = 75000

这将是其余“魔术”6 设置的补充：TIME_PREFIX、TIME_FORMAT、MAX_TIMESTAMP_LOOKAHEAD、SHOULD_LINEMERGE和LINE_BREAKER。

推荐阅读