时间戳

首页 > 技术文章 > ELK 日志管理系统，再次尝试记录

ELK 日志管理系统，再次尝试记录

wangxiaoqiangs 2016-08-23 11:27 原文


简介：

第二次尝试 ELK 记录...

工作流程：

1、客户端的 Logstash 将日志信息采集到之后传输给 Redis 做消息队列
2、然后服务端的 Logstash 将日志从 Redis 中取出之后根据日志规则将数据序列化（ 方便查询 ）完成后存入 Elasticsearch 文本数据库中
3、最后通过 Kibana 展示数据，可以根据序列化好的数据做查询过滤、数据聚合等操作

环境描述：

192.168.214.20 服务端（ Logstash 、Elasticsearch 、Redis 、Nginx 、Kibana4 ）
192.168.214.30 客户端（ Logstash ）

一、客户端操作

shell > yum -y install java

1、安装 Logstash

shell > cd /usr/local/src ; wget https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
shell > tar zxf logstash-1.5.2.tar.gz
shell > mv logstash-1.5.2 /usr/local/logstash

2、编写配置文件

shell > vim /usr/local/logstash/logstash.conf

# Logstash.conf

input {
  file {
    type => "apache_access"
    path => ["/tmp/access.log"]
    start_position => "beginning"
  }
}

output {
#  stdout {
#    codec => rubydebug
#  }
  redis {
      host => "192.168.214.20"
      port => 6379
      data_type => "list"
      key => "logstash-redis"
  }
}

## input 段定义从哪里采集日志，beginning 代表服务启动时从日志文件头部开始导入日志，而不是监听新生成的日志（ 当然导入完成也会变成监听新生成的日志 ）
## output 段定义将日志数据输送到指定的 Redis 服务中，类型为 list ，key 为 logstash-redis
## stdout 段是为了简单验证有没有采集到日志数据（ 效果：会在终端输出日志信息，rubydebug 为输出格式，可以不设置 codec 看看有什么区别 ）

3、检查配置文件

shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf -t
Configuration OK

## 启动前先检查一下配置文件是否正确
## OK ，客户端配置完毕，暂时不启动（ 因为服务端的 Redis 服务还没有，现在启动会报错：传输失败 ）

二、服务端操作

1、安装 Elasticsearch

shell > cd /usr/local/src ; wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.6.0.tar.gz
shell > tar zxf elasticsearch-1.6.0.tar.gz
shell > mv elasticsearch-1.6.0 /usr/local/elasticesearch

2、配置 Elasticsearch

shell > vim /usr/local/elasticesearch/config/elasticsearch.yml

cluster.name: my_es
node.name: "Master"

## cluster.name 集群名称，局域网内只要这个名称相同，那么就可以自动组成一个集群
## nod.name 节点名称
## 这些都是可以不用修改的，采用默认参数即可（ 要知道，Elasticsearch 是一个数据库，所以功能远远不止这些 ）

shell > vim /usr/local/elasticesearch/bin/elasticsearch.in.sh

if [ "x$ES_MIN_MEM" = "x" ]; then
    ES_MIN_MEM=64m
fi
if [ "x$ES_MAX_MEM" = "x" ]; then
    ES_MAX_MEM=256m

## Elasticsearch 可用的最大、最小内存数（ 根据实际情况来吧 ）

3、启动 Elasticsearch

shell > /usr/local/elasticesearch/bin/elasticsearch -d
shell > netstat -anpt | grep 9200
tcp        0      0 :::9200                     :::*                        LISTEN      1263/java

## -d 后台运行，默认监听 TCP 9200 端口

shell > curl -X GET 127.0.0.1:9200
{
  "status" : 200,
  "name" : "Master",
  "cluster_name" : "my_es",
  "version" : {
    "number" : "1.6.0",
    "build_hash" : "cdd3ac4dde4f69524ec0a14de3828cb95bbb86d0",
    "build_timestamp" : "2015-06-09T13:36:34Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.4"
  },
  "tagline" : "You Know, for Search"
}

## 这是一些基本信息

shell > curl -X GET 127.0.0.1:9200/_cat
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}

## 怎么说呢，所支持的一些指令吧

shell > curl -X GET 127.0.0.1:9200/_cat/master
6LEg6Ap4Qq-9HYUbEoy9Bw localhost.localdomain 127.0.0.1 Master

## 例如查看 master 信息

shell > curl -X GET 127.0.0.1:9200/_cat/master?v
id                     host                  ip        node
6LEg6Ap4Qq-9HYUbEoy9Bw localhost.localdomain 127.0.0.1 Master

## 结尾加了 ?v 可以显示各字段意思

4、Elasticsearch 安装插件

shell > /usr/local/elasticesearch/bin/plugin -i mobz/elasticsearch-head

## 可以使用 plugin 命令跟 -i 参数，自动下载并安装插件
## 如果因网络问题不能这样安装时，可以将插件包手动下载到机器上，使用 ./plugin -u file:///usr/local/src/插件包.zip -i head 这样安装

shell > /usr/local/elasticesearch/bin/plugin -l
Installed plugins:
    - head

## 使用 -l 可以列出已经安装过的插件
## 访问 URL : http://192.168.214.20:9200/_plugin/head 查看插件页面，记得防火墙开启 TCP 9200 端口

shell > /usr/local/elasticesearch/bin/plugin -i lukas-vlcek/bigdesk

## 这是一个用来监控集群状态的插件，如: CPU 、内存 、索引数据、搜索情况、HTTP 连接数等
## 手动下载时，例如第一个插件的地址就是 https://github.com/mobz/elasticsearch-head

5、Redis

shell > cd /usr/local/src ; wget http://download.redis.io/releases/redis-3.0.2.tar.gz
shell > tar zxf redis-3.0.2.tar.gz
shell > cd redis-3.0.2 ; make ; make install
shell > mkdir /usr/local/redis
shell > cp /usr/local/src/redis-3.0.2/redis.conf /usr/local/redis/
shell > sed -i '/daemonize/s/no/yes/' /usr/local/redis/redis.conf
shell > sed -i 's#dir ./#dir /usr/local/redis#' /usr/local/redis/redis.conf
shell > redis-server /usr/local/redis/redis.conf
shell > redis-cli ping
PONG

## Redis 已经启动成功，记得防火墙开放 TCP 6379 端口，不然客户端收集到的日志信息传输不过来

6、先来个小测试

1> 客户端启动 Logstash

shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf &

2> 客户端导入日志（ 找线上的日志导入到本地指定的日志文件中 ）

3> 服务端查看 Redis 能否接收到数据

shell > redis-cli
127.0.0.1:6379> keys *
1) "logstash-redis"

## 可以看到有一个名为 logstash-redis 的 key（ 正是客户端定义的 key ）

127.0.0.1:6379> lrange logstash-redis 0 -1
 1) "{\"message\":\"121.42.0.30 - - [17/Jul/2015:18:01:21 +0800] \\\"POST /include/fckeditor/editor/filemanager/browser/default/connectors/asp/connector.asp?Command=FileUpload&Type=File&CurrentFolder=%2F HTTP/1.1\\\" 404 279\",\"@version\":\"1\",\"@timestamp\":\"2015-07-20T15:31:46.914Z\",\"host\":\"localhost.localdomain\",\"path\":\"/tmp/access.log\",\"type\":\"apache_access\"}"
 2) "{\"message\":\"121.42.0.30 - - [17/Jul/2015:18:01:23 +0800] \\\"POST /plugins/fckeditor/editor/filemanager/browser/default/connectors/asp/connector.asp?Command=FileUpload&Type=File&CurrentFolder=%2F HTTP/1.1\\\" 404 279\",\"@version\":\"1\",\"@timestamp\":\"2015-07-20T15:31:46.941Z\",\"host\":\"localhost.localdomain\",\"path\":\"/tmp/access.log\",\"type\":\"apache_access\"}"

## 使用指令查看这个 key 中的数据，0 -1 表示从头到尾全部查看，最终发现有 89 条数据
## 而此时在客户端上执行 wc -l < /tmp/access.log 发现得到的结果也是 89 条，说明数据传输没有问题

7、Logstash

## 安装方式跟客户端一样，只是配置文件有所不同而已

shell > vim /usr/local/logstash/logstash.conf

# Logstash.conf

input {
  redis {
    host => "127.0.0.1"
    port => 6379
    data_type => "list"
    key => "logstash-redis"
    type => "redis-input"
  }
}

filter {
  grok {
    match => { "message" => "%{IPORHOST:client_ip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_request})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-)" }
  }
}

output {
  stdout {
    codec => rubydebug
}

#  elasticsearch {
#    host => "127.0.0.1"
#    port => 9200
#    protocol => 'http'
#  }
}

## input 段定义从 Redis 中取数据
## output 段定义将序列化好的数据写入本机的 Elasticsearch 中（ 上面注释掉是为了查看规则是否匹配成功 ）
## filter 段定义将取出的数据序列化（ 根据日志格式编写匹配规则 ）

141.212.122.34 - - [18/Jul/2015:14:54:51 +0800] "GET /x HTTP/1.1" 400 226

## 这是我的日志格式，非常简单，匹配规则每个 %{} 对应一个字段，要完全匹配才会出结果，否则匹配失败
## 编写规则时可以根据这里的定义自由组合，地址：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
## 上面的一长串其实直接定义为 match => { "%{COMMONAPACHELOG}" } 即可，单独写出来是为了记录自由组合时格式是怎么样的

shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf -t
Configuration OK
shell > /usr/local/logstash/bin/logstash -f /usr/local/logstash/logstash.conf &

## 配置文件没有问题，那么就启动

{
         "message" => "121.42.0.30 - - [17/Jul/2015:18:02:47 +0800] \"GET /phpMyAdmin/scripts/setup.php HTTP/1.1\" 404 226",
        "@version" => "1",
      "@timestamp" => "2015-07-20T15:31:47.963Z",
            "host" => "localhost.localdomain",
            "path" => "/tmp/access.log",
            "type" => "apache_access",
       "client_ip" => "121.42.0.30",
           "ident" => "-",
            "auth" => "-",
       "timestamp" => "17/Jul/2015:18:02:47 +0800",
            "verb" => "GET",
         "request" => "/phpMyAdmin/scripts/setup.php",
    "http_version" => "1.1",
        "response" => "404",
           "bytes" => "226"
}

## 截取一段输出信息来看，日志中的各项指标都匹配到了，说明规则没有问题
## 那么接下来就可以将 stdout 段注释掉，将 Elasticsearch 段注释取消，将结果写到 Elasticsearch 中了（ 修改配置文件要重启服务，这个不用多说 ）

shell > curl -X GET 127.0.0.1:9200/_cat/indices

## 重启完服务查看 Elasticsearch 中有没有索引时，发现是空的！
## 这是正常现象，如果你现在去看 Redis 时，就会发现也是空值，因为 Redis 作为消息队列，Logstash 读取完（ 拿走 ） Redis 中的数据，Redis 自然就成了空值。
## 再次导入一些日志信息测试

shell > curl -X GET 127.0.0.1:9200/_cat/indices
yellow open logstash-2015.07.20 5 1 31 0 49.4kb 49.4kb

## 可以看到 Elasticsearch 已经生成了索引（ 有数据了 ）

shell > curl -X GET 127.0.0.1:9200/_cat/shards?v
index               shard prirep state      docs  store ip        node
logstash-2015.07.20 2     p      STARTED       7   10kb 127.0.0.1 Master
logstash-2015.07.20 2     r      UNASSIGNED
logstash-2015.07.20 0     p      STARTED       6 10.2kb 127.0.0.1 Master
logstash-2015.07.20 0     r      UNASSIGNED
logstash-2015.07.20 3     p      STARTED       6  9.6kb 127.0.0.1 Master
logstash-2015.07.20 3     r      UNASSIGNED
logstash-2015.07.20 1     p      STARTED       7 10.1kb 127.0.0.1 Master
logstash-2015.07.20 1     r      UNASSIGNED
logstash-2015.07.20 4     p      STARTED       5  9.3kb 127.0.0.1 Master
logstash-2015.07.20 4     r      UNASSIGNED

## 这样再来看看，更清楚了

8、Kibana

shell > cd /usr/local/src ; wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz
shell > tar zxf kibana-4.1.1-linux-x64.tar.gz
shell > mv kibana-4.1.1-linux-x64 /usr/local/kibana
shell > vim /usr/local/kibana/config/kibana.yml

elasticsearch_url: "http://127.0.0.1:9200"

## 这里也没什么需要改的，确认一下从哪读取数据

shell > /usr/local/kibana/bin/kibana > /usr/local/kibana/kibana.log &
netstat -anpt | grep 5601
tcp        0      0 0.0.0.0:5601                0.0.0.0:*                   LISTEN      1881/node

## 启动服务，默认监听 TCP 5601 端口，防火墙怎么做不用说了吧
## 访问 URL : http://192.168.214.20:5601

> 第一次访问要求创建一个索引（ 没有导入日志是不能创建索引的 ），可以使用默认的 logstash-* ，也可以使用事件时间来创建索引（ 能用时间匹配的情况下 ）
> 接下来就可以查看日志信息了，第一个界面简单展示，第二个界面可以创建图表，第三个界面可以将创建好的多个图表放在一起，第四个界面是配置页，创建索引就在这里

## 头次浏览可能会提示搜索不到信息，在右上角选择合适的时间区间应该就可以了

推荐阅读