SpringBoot整合ELK实现日志采集与监控

ELK是Elasticsearch、Logstash、Kibana他们三个组合起来可以搭建日志系统,本文主要讲解使用docker安装ELK收集SoringBoot应用产生的日志

# 代码地址https://github.com/bangbangzhou/spring-boot-event-log-demo.git

应用场景

  • Web应用日志监控
  • 系统性能监控
  • 错误信息监控

优点

  • 灵活性高:Spring Boot提供了丰富的日志模块和监控模块,可以根据具体需求选择合适的模块进行集成和配置,具有高度的灵活性。
  • 易于使用:Spring Boot提供了简化配置的方式,可以通过一些注解和属性文件来配置日志和监控模块,降低了配置的复杂度,易于使用。
  • 功能强大:ELK是一个功能强大的日志管理和监控工具,可以实现日志的采集、存储、搜索和分析等功能,支持生成报表和实时监控,可以满足各种日志和监控需求。
  • 扩展性强:Spring Boot提供了丰富的扩展点,可以通过自定义中间件和插件来扩展日志和监控功能,满足特定的业务需求。

ELK环境搭建

1.Elasticsearch、Logstash、Kibana作用

  • Elasticsearch:存储日志信息
  • Logstash: 日志收集,springboot利用Logstash把日志发送个Logstash,然后Logstash将日志传递给Elasticsearch。
  • Kibana:通过web端对日志进行可视化操作

使用Docker安装Elasticsearch

  • 下载Elasticsearch镜像
docker pull elasticsearch:7.6.2
  • 修改虚拟内存地址,否则可能出现内存过小无法启动
sysctl -w vm.max_map_count=262144
  • 创建文件夹
 mkdir -p  /mydata/elasticsearch/plugins  /mydata/elasticsearch/data
  • 注意要给/mydata/elasticsearch/data设置权限
chmod 777 /mydata/elasticsearch/data/
  • 启动Elasticsearch服务
docker run -p 9200:9200 -p 9300:9300 --name elasticsearch \
-e "discovery.type=single-node" \
-e "cluster.name=elasticsearch" \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-d elasticsearch:7.6.2
  • 安装IKAnalyzer中文分词器,并重新启动进入到容器
docker exec -it elasticsearch /bin/bash

下载插件

elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip
图片[1]-SpringBoot整合ELK实现日志采集与监控-不念博客

注意:在线下载可能比较慢,可以进行离线下载

  • 重启elasticsearch
docker restart elasticsearch

离线安装elasticsearch中插件

  • 1.下载elasticsearch-analysis-ik-7.6.2.zip
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip
  • 2.上传到linux
  • 3.上传的linux复制到elasticsearch容器中
docker cp elasticsearch-analysis-ik-7.6.2.zip elasticsearch:/
  • 4.安装插件
docker exec -it elasticsearch /bin/bash

elasticsearch-plugin install file:////elasticsearch-analysis-ik-7.6.2.zip

docker restart elasticsearch

查看防火墙状态

systemctl status firewalld
图片[2]-SpringBoot整合ELK实现日志采集与监控-不念博客

打开特点端口

firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --reload
  • 访问ES
http://192.168.150.102:9200
图片[3]-SpringBoot整合ELK实现日志采集与监控-不念博客

2. 使用Docker安装Logstash

  • 1.下载Logstash镜像
docker pull logstash:7.6.2
  • 2.创建/mydata/logstash
mkdir /mydata/logstash
cd /mydata/logstash
  • 3.在/mydata/logstash目录下添加Logstash配置文件logstash.conf
 vim logstash.conf
图片[4]-SpringBoot整合ELK实现日志采集与监控-不念博客
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
    type => "debug"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4561
    codec => json_lines
    type => "error"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4562
    codec => json_lines
    type => "business"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4563
    codec => json_lines
    type => "record"
  }
}
filter{
  if [type] == "record" {
    mutate {
      remove_field => "port"
      remove_field => "host"
      remove_field => "@version"
    }
    json {
      source => "message"
      remove_field => ["message"]
    }
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "logback-%{type}-%{+YYYY.MM.dd}"
  }
}

配置文件 logstash.conf 中设置了四个 TCP 输入,每个输入使用不同的端口(4560、4561、4562、4563)和类型(debug、error、business、record)。同时,通过 Logstash 的过滤器 filter 部分,对类型为 “record” 的日志进行了一些字段的处理,最后通过 output 将处理过的日志发送到 Elasticsearch 中,索引的命名采用了按类型和日期分隔的格式。

这个配置的作用是根据不同类型的日志将其分别处理,并存储到 Elasticsearch 中,索引名为 “logback-类型-日期”。

在这个配置中,Logstash 配置了四个 TCP 输入,分别监听不同的端口和类型。这样可以将不同类型的日志发送到不同的输入端口,从而在 Logstash 中区分它们。

  • 4.启动logstash
docker run --name logstash -p 4560:4560 -p 4561:4561 -p 4562:4562 -p 4563:4563 \
--link elasticsearch:es \
-v /mydata/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
-d logstash:7.6.2
  • 5.查看容器
docker ps
图片[5]-SpringBoot整合ELK实现日志采集与监控-不念博客

3. 使用Docker安装Kibana安装

  • 1.下载Kibana镜像
docker pull kibana:7.6.2
  • 2.启动Kibana
docker run --name kibana -p 5601:5601 \
--link elasticsearch:es \
-e "elasticsearch.hosts=http://es:9200" \
-d kibana:7.6.2
  • 3.打开特点端口
firewall-cmd --zone=public --add-port=5601/tcp --permanent
firewall-cmd --reload
  • 4访问kibana
http://192.168.150.102:5601
图片[6]-SpringBoot整合ELK实现日志采集与监控-不念博客

4.springboot配置(logback.xml配置)

  • 1.pom.xml引入maven依赖
<!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.3</version>
</dependency>
  • 2.配置logback.xml文件 指定日志输出到logstash的端口号
<!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>192.168.150.102:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
    </appender>
  • 3.在root节点添加
<!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>192.168.150.102:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
    </appender>
  • 4.在application.yml配置日志文件
server:
  port: 8890


logging:
  file:
    path: /var/logs
  level:
    root: info
  #在Spring Boot项目中默认加载类路径下的logback-spring.xml文件
  config: classpath:logback-spring.xml
  • postman访问接口产生日志
http://localhost:8890/user/name?name=12343
图片[7]-SpringBoot整合ELK实现日志采集与监控-不念博客

5.kibana 查看日志

  • 添加log数据
图片[8]-SpringBoot整合ELK实现日志采集与监控-不念博客
  • 查看Logstash 日志
图片[9]-SpringBoot整合ELK实现日志采集与监控-不念博客
图片[10]-SpringBoot整合ELK实现日志采集与监控-不念博客
  • 创建索引
图片[11]-SpringBoot整合ELK实现日志采集与监控-不念博客
图片[12]-SpringBoot整合ELK实现日志采集与监控-不念博客
图片[13]-SpringBoot整合ELK实现日志采集与监控-不念博客
  • 查看日志
图片[14]-SpringBoot整合ELK实现日志采集与监控-不念博客

通过以上步骤启动springboot项目 和 logstash ,此时发现logstash中会打印springboot项目中的日志,然后在kibbna中找到discovery即可可视化日志信息,还可对其过滤处理,快速定位到我们需要的日志。

© 版权声明
THE END
喜欢就支持一下吧
点赞84赞赏 分享
评论 抢沙发
头像
欢迎光临不念博客,留下您的想法和建议,祝您有愉快的一天~
提交
头像

昵称

取消
昵称代码图片

    暂无评论内容