elasticsearch - Logstash REST 过滤器 - 限制速度

Question

创建了一个从 MSSQL 获取数据并将其推送到 ElasticSearch 的 logstash 配置文件，我正在使用 Logstash REST 过滤器来丰富数据

filter {

rest {
request => {
  url => "http://api.timezonedb.com/v2/get-time-zone? 
  key=[KEY]&format=json&by=zone&zone=Europe/%{city}"
  method => "post"   
}

json => true
sprintf => true 
target => "test"                    

}
}

我的问题是：

有没有办法限制/减慢logstash，因为我正在使用的示例API返回我调用太多的错误？

标签： elasticsearchlogstashlogstash-configuration

Answer 1

Logstash 中有一个过滤器睡眠插件，它应该对速率限制很有用。

配置示例：

filter {
  rest {
   # rest related
  }
  sleep {
    time => "1"   # Sleep 1 second
    every => 10   # on every 10th event
  }
}