ELK_04_Filebeat收集Nginx access日志和error日志

ELK收集多台nginx日志:
增加两台服务器,分别安装nginx 和 filebeat
192.168.189.119 主机名 elk02
192.168.189.120 主机名 elk03
++++++

安装好后,把elk01 192.168.189.118 上面的nginx 配置文件和filebeat的配置文件传过去
并,重启nginx 和 filebeat。
192.168.189.118 filebeat配置如下:
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
########## output
output.elasticsearch:
  hosts: ["192.168.189.118:9200"]
  indices:
  - index: "nginx-%{[beat.version]}-%{+yyyy.MM}"
setup.template.name: "nginx"
setup.template.parttern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
###################

可以在其他两台压测一些数据,模拟nginx 日志。
ab -n 10 -c 10 http://192.168.189.119/elk03.html
ab -n 10 -c 10 http://192.168.189.120/elk01.html

查看nginx 日志是否是json格式:




查看ES索引数据:




登录Kibana 查看数据:
这么多日志,如何区分是那一台的日志,可以通过host.name值来区分。






++++++++++++
上面只收集了access日志,还有error日志如何收集?
ELK收集nginx access和error错误日志:
在192.168.189.118上面操作:
vim /etc/filebeant/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]
output.elasticsearch:
  hosts: ["192.168.189.118:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "error"
setup.template.name: "nginx"
setup.template.parttern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true



删除ES里面,原来的索引 和 kibana里面的索引数据
重启filebeat
查看ES数据:



登录Kibana,创建索引





把192.168.189.118的 filebeat.yml 拷贝到189.119 189.120 /etc/filebeat/
scp -r /etc/filebeat/filebeat.yml root@192.168.189.119:/etc/filebeat/
scp -r /etc/filebeat/filebeat.yml root@192.168.189.120:/etc/filebeat/

重启filebeat-----> 189.119 189.120

生成一些nginx 日志(189.118 189.119 189.120 运行都可以)
ab -n 10 -c 10 http://192.168.189.119/elk022222.html
ab -n 10 -c 10 http://192.168.189.120/elk033333.html
++++++++++
Kibana 查看数据: