fluentd - 使用 fluentd 和 elasticsearch 进行实时数据同步
问题描述
我正在使用 fluentd 将数据从 kafka 同步到 Elasticsearch。但是 fluentd 需要 60 秒才能将数据同步到 elasticsearch。我想要实时数据同步。是否有任何我必须包括的配置参数。
我试过了
<source>
@type kafka
brokers localhost:9092
topics xxx
</source>
<match xxx>
@type elasticsearch
scheme http
port 9200
<buffer tag>
@type memory
flush_thread_count 4
</buffer>
</match>
解决方案
我们使用 flush_interval 参数,如下所示:
<buffer>
flush_interval 5s
flush_thread_count 4
</buffer>
推荐阅读
- woocommerce - 在 woocommerce 中自定义 SKU
- javascript - 当画布上有 % 宽度时,如何找到鼠标在画布上的位置?
- perl - 如何使用for循环结果并在perl中使用mailx插入正文电子邮件
- laravel - 在 Laravel 8 上安装 Sentry 时出错
- flutter - 数据刷新后更新 ListView.builder itemCount
- html - 如何处理并不总是有效的 HTML Mailto 链接?
- recursion - 定义递归函数的表达式
- navbar - 如何在 Bootstrap 5 中做粘底导航栏?
- r - 替换字符串变量中的值(如果存在),在新的虚拟变量中编码为 1
- html5-video - 我可以声明带有 VP8 和 VP9 源的 HTML5 视频吗?