时间戳

首页 > 解决方案 > logstash 中的数据转换

sql - logstash 中的数据转换

问题描述

我有一个数据源，一个只读 SQL 服务器，通过组合来自该服务器的表，我正在制作一个日志，我需要将它上传到 Elastic Search。

为此，我对数据源进行了 API 调用，然后在 Logstash 中进行数据转换，然后将其上传到 ES。

我之前在 SQL 中做过几次数据转换。在 SQL 中，我会JOIN几个表并将查询结果插入到日志表中，但是在此设置中我没有 SQL 选项，我需要在 logstash 中进行转换。

我要的是logstash的最佳实践建议。

标签： sqlelasticsearchlogstash

解决方案

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.38-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost/student?user=root&password="
    jdbc_user => "Croos"
    parameters => {
    }

    schedule => "* * * * *"
    statement => "SELECT * from subject WHERE id > :sql_last_value"
    use_column_value => true
    tracking_column => id
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
  }
}

此链接可能对您有所帮助。

推荐阅读