大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺
ELK搭建开源日志系统(window版本)—图文详细
日志对于排查错误非常重要,使用linux命令awk sed grep find等命令查询日志非常麻烦,而且很难做数据分析,使用免费开源的ELK可以支撑大规模的日志检索,本文将一步步教怎么快速搭建一个window版本的ELK日志收集系统。
下载elasticsearch、logstash、kibana、filebeat
注意同一系列的版本要一样,防止出现版本不兼容问题,本文使用7.16.0版本,在window系统演示
下载elasticsearch
访问地址为:https://www.elastic.co/cn/downloads/past-releases
点击Donload下载
跳转到访问地址为: https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-16-0
可以选择window或者linux版本,本文下载window版本
下载logstash
点击Donload下载
跳转到访问地址为: https://www.elastic.co/cn/downloads/past-releases/logstash-7-16-0
选择window版本
下载kibana
访问地址为:https://www.elastic.co/cn/downloads/past-releases/kibana-7-16-0
选择window版本
跳转到访问地址为:https://www.elastic.co/cn/downloads/past-releases/filebeat-7-16-0
下载filebeat
选择window版本
下载jdk11
由于7.16.0版本需要依赖java jdk11版本,需要将本地java环境切换到jdk11
访问网站: http://www.codebaoku.com/jdk/jdk-oracle-jdk11.html
点击下载
全部下载完解压
安装jdk11、elasticsearch、kibana、logstash、filebeat
安装jdk11
使用win+X键,并选择Windows终端
输入
cd F:\soft\elk
dir
打开window搜索框搜索环境变量,打开编辑系统环境变量
点击环境变量
添加JAVA_HOME路径
F:\soft\elk\jdk-11.0.13_windows-x64_bin\jdk-11.0.13
将java执行路径添加到Path变量中,输入
%JAVA_HOME%\bin
%JAVA_HOM%\jre\bin
新打开一个shell(一定要重新打开一个新的shell才会加载刚配置过的jdk11环境变量)
并执行命令,可以看到jdk11提示输出,表示jdk11安装成功
java -version
启动elasticsearch
启动新的shell,并执行命令
cd F:\soft\elk
.\elasticsearch-7.16.0-windows-x86_64\elasticsearch-7.16.0\bin\elasticsearch.bat
如果本地使用localhost访问,不需要修改配置文件,否则需要修改如下
network.host: 0.0.0.0
可以看到elasticsearch执行成功
启动kibana
启动新的shell,并执行命令
cd F:\soft\elk
.\kibana-7.16.0-windows-x86_64\kibana-7.16.0-windows-x86_64\bin\kibana.bat
可以看到执行成功
访问网站,可以看到启动成功
http://localhost:5601/app/home#/
点击Explore on my own
启动logstash
在logstash配置文件中,新增文件名log.conf
内容如下:
输入指定通过5044端口使用Filebeat接收数据。
指定在elasticsearch中创建test的索引,将数据输出到test索引中。
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "test"
#user => "elastic"
#password => "changeme"
}
}
启动新的shell,并执行命令
cd F:\soft\elk
.\logstash-7.16.0-windows-x86_64\logstash-7.16.0\bin\logstash.bat -f D:\conf\logstash-8.1.0-windows-x86_64\logstash-8.1.0\config\log.conf
可以看到启动成功
启动filebeat
新建日志log测试日志文件夹
进入log文件夹,创建data.log文件
内容为
[08/Nov/2019:11:40:24 +0800] tc-com.net - - 192.168.12.58 192.168.12.58 192.168.15.135 80 GET 200 /geccess/services/capability/L6JN4255 ?pageIndex=1&pageSize=2000&vehicleType=0 21067 17 totalTime:54ms
[08/Nov/2019:11:40:24 +0800] tc-com.net - - 192.168.12.58 192.168.12.58 192.168.15.135 80 GET 200 /geccess/services/capability/L6JN4255 ?pageIndex=1&pageSize=2000&vehicleType=0 21067 17 totalTime:63ms
[08/Nov/2019:11:40:24 +0800] tc-com.net - - 192.168.12.58 192.168.12.58 192.168.15.135 80 GET 200 /geccess/services/capability/L6JN4255 ?pageIndex=1&pageSize=2000&vehicleType=0 21067 17 totalTime:75ms
编辑filebeat文件
将enable改成true,同时设置日志路径为
F:\soft\elk\log\*.log
将filebeat.config.modules的enable改成true
将输出到elasticsearch中使用#注释去掉,并将输出到logstash注释删除掉
cd F:\soft\elk
.\filebeat-7.16.0-windows-x86_64\filebeat.exe -e -c F:\soft\elk\filebeat-7.16.0-windows-x86_64\filebeat.yml
可以看到filebeat运行成功
kibana查询日志
命令查询创建的索引数据
访问网站,并点击左上角
http://localhost:5601/app/home#/
左侧向下滑动,选中management,并点击Dev Tools
在Console输入下面命令
GET /_cat/indices?v
在点击绿色执行按钮,可以看到,索引test已经创建
输入下面命令,查询索引test的数据,可以看到日志数据已经成功上传
GET test/_search
{
"query": {
"match_all": {
}
}
}
通过界面查看和索引日志数据
点击Stack Management
选择Index Patterns
输入索引名称test,可以看到有匹配的,选择时间字段为@timestamp,点击Create Index pattern
看到创建成功
选择Discover
可以看到默认为test索引
选择时间范围大一点
点击Update
可以看到数据完全被加载出来
通过关键词totalTime搜索,点击Refresh,可以看到下面搜索高量的部分
总结
可以看到一个简单的日志收集系统搭建成功,我们可以根据这套系统收集日志,并做分析,本文只是针对window版本的介绍,后续会在linux版本搭建一套,步骤基本一致,更多实用搜索功能敬请期待。
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/179082.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...