日志管理ELK

日志管理ELK运维架构日志管理ELK:ElasticSearch、Logstash和Kibana介绍,结合redis安装配置及展示更多干货分布式实战(干货)springcloud实战(干货)mybatis实战(干货)springboot实战(干货)React入门实战(干货)构建中小型互联网企业架构(干货)python学习(干货)ElasticSearch笔记一、 介绍1、日志主要包括系…

大家好,又见面了,我是你们的朋友全栈君。

运维架构日志管理ELK:ElasticSearch 、 Logstash 和 Kibana 介绍,结合redis安装配置及展示

更多干货

一、 介绍

  • 1、日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

  • 2、通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

  • 3、集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

  • 4、开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co/products

  • 1.Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

  • 2.Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。

  • 3.kibana 也是一个开源和免费的工具,他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

image

  • 在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,
  • 将过滤后的内容发送到logstash indexer,logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,
  • 可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

二、 安装ElasticSearch

1、 安装jdk

wget  http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
mkdir /usr/local/java 
tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/
export JAVA_HOME=/usr/local/java/jdk1.8.0_4
export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

2、 安装ElasticSearch

wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.2.0/elasticsearch-2.2.0.tar.gz
解压:tar -zxf elasticsearch-2.2.0.tar.gz -C ./
安装elasticsearch的head插件: 
cd /data/program/software/elasticsearch-2.2.0 
./bin/plugin install mobz/elasticsearch-head 

执行结果:

image

安装elasticsearch的kopf插件

./bin/plugin install lmenezes/elasticsearch-kopf 

执行结果:

image

创建elasticsearch的data和logs目录

mkdir data
mkdir logs

配置elasticsearch的配置文件

cd config/

备份一下源文件:

cp elasticsearch.yml elasticsearch.yml_back

编辑配置文件:

vim elasticsearch.yml 

配置内容如下:

cluster.name: dst98  主机名称
node.name: node-1
path.data: /data/program/software/elasticsearch-2.2.0/data
path.logs: /data/program/software/elasticsearch-2.2.0/logs
network.host: 10.15.0.98   主机IP地址
network.port: 9200    主机端口

启动elasticsearch: ./bin/elasticsearch

报如下错误:说明不能以root账户启动,需要创建一个普通用户,用普通用户启动才可以。

[root@dst98 elasticsearch-2.2.0]# ./bin/elasticsearch
Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.
        at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:93)
        at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:144)
        at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:285)
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)
Refer to the log for complete error details.

添加用户及用户组

#groupadd search
#useradd -g search  search

将data和logs目录的属主和属组改为search

#chown search.search /elasticsearch/ -R

然后切换用户并且启动程序:

su search
./bin/elasticsearch

后台启动:nohup ./bin/elasticsearch &

启动成功后浏览器访问如下:

image

通过安装head插件可以查看集群的一些信息,访问地址及结果如下:

image

三、安装Kibana

下载kibana:

wget https://download.elastic.co/kibana/kibana/kibana-4.4.0-linux-x64.tar.gz

解压:

tar -zxf kibana-4.4.0-linux-x64.tar.gz -C ./

重命名:

mv kibana-4.4.0-linux-x64 kibana-4.4.0

先备份配置文件:

/data/program/software/kibana-4.4.0/config
cp kibana.yml  kibana.yml_back

修改配置文件:

server.port: 5601           
server.host: "10.15.0.98"
elasticsearch.url: "http://10.15.0.98:9200"    --ip为server的ip地址
kibana.defaultAppId: "discover"
elasticsearch.requestTimeout: 300000
elasticsearch.shardTimeout: 0

启动程序:

 nohup ./bin/kibana &

四、配置Logstash

下载logstash到要采集日志的服务器上和安装ELK的机器上。

wget https://download.elastic.co/logstash/logstash/logstash-2.2.0.tar.gz

解压: tar -zxf logstash-2.2.0.tar.gz -C ./

运行如下命令进行测试:

./bin/logstash -e 'input { stdin{} } output { stdout {} }' 
Logstash startup completed
Hello World!     #输入字符
2015-07-15T03:28:56.938Z noc.vfast.com Hello World!  #输出字符格式

注:其中-e参数允许Logstash直接通过命令行接受设置。使用CTRL-C命令可以退出之前运行的Logstash。

1、配置ElasticSearch上的LogStash读取redis里的日志写到ElasticSearch

进入logstash目录新建一个配置文件:

cd logstash-2.2.0 
touch logstash-indexer.conf #文件名随便起 

写如下配置到新建立的配置文件:

input和output根据日志服务器数量,可以增加多个。
input {
    redis {
        data_type => "list"
        key => "mid-dst-oms-155"
        host => "10.15.0.96"
        port => 6379
        db => 0
        threads => 10
        }
}

output {
        if [type] == "mid-dst-oms-155"{
        elasticsearch {
        hosts => "10.15.0.98"
        index => "mid-dst-oms-155"
        codec => "json"
        }
       }
}

启动logstash:

nohup ./bin/logstash -f logstash-indexer.conf  -l logs/logstash.log &

2、配置客户端的LogStash读取日志写入到redis

进入logstash目录新建一个配置文件:

cd logstash-2.2.0 
touch logstash_agent.conf #文件名随便起 

写如下配置到新建立的配置文件:

input和output根据日志服务器数量,可以增加多个。

input { 
file { 
path => [“/data/program/logs/MID-DST-OMS/mid-dst-oms.txt”] 
type => “mid-dst-oms-155” 
} 
} 
output{ 
redis { 
host => “125.35.5.98” 
port => 6379 
data_type => “list” 
key => “mid-dst-oms-155” 
} 
}

启动logstash:

nohup ./bin/logstash -f logstash_agent.conf -l logs/logstash.log &

备注:

logstash中input参数设置: 
1. start_position:设置beginning保证从文件开头读取数据。 
2. path:填入文件路径。 
3. type:自定义类型为tradelog,由用户任意填写。 
4. codec:设置读取文件的编码为GB2312,用户也可以设置为UTF-8等等 
5. discover_interval:每隔多久去检查一次被监听的 path 下是否有新文件,默认值是15秒 
6. sincedb_path:设置记录源文件读取位置的文件,默认为文件所在位置的隐藏文件。 
7. sincedb_write_interval:每隔15秒记录一下文件读取位置

相关内容

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/136851.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 【C语言】的%*d、%.*s等详解:「建议收藏」

    目录:0.前言【精简版】:时间少的看这里:时间长的可以看我下面的啰嗦:1.必备入门小知识:2.正题1:scanf(1)%*d被枪毙了:(2)【%.*d】的队友被枪毙了:2.正题2:printf就不讲了,前面的【前言】似乎讲得很明白了吧。0.前言【精简版】:其实网上也有很多关于这方面的解释,但是总会让新手甚至小老手有些迷茫,比如网上有一种解释就说:忽略……你忽略啥啊你…时间少的看这里:<1>scanf:注意:在scanf里只有%*d和%.*d有意义,其他的%*f,%

  • 激活成功教程芝诺悖论之阿基里斯追乌龟

    激活成功教程芝诺悖论之阿基里斯追乌龟版权所有。所有权利保留。欢迎转载,转载时请注明出处:阿基里斯是古希腊神话中善跑的英雄。在他和乌龟的竞赛中,他速度v1,位置坐标0;乌龟速度v2,位置坐标s。已知v1>v2。他在后面追,但他不可能追上乌龟。因为在竞赛中,追者首先必须到达被追者的出发点,当阿基里斯追到s时,乌龟已经又向前爬了s/v1*v2,位置s+s/v1*v2。于是,一个新的起点产生了;阿基里斯必须继续追,而当他追到乌龟爬的

  • 阿里云部署SSL证书「建议收藏」

    阿里云部署SSL证书「建议收藏」查找中间证书为了确保兼容到所有浏览器,我们必须在阿里云上部署中间证书,如果不部署证书,虽然安装过程可以完全也不会报错,但可能导致Android系统,Chrome和Firefox等浏览器无法识别。

  • 问答:程序员到底是一群怎样的存在?[通俗易懂]

    点击上方☝,轻松关注!及时获取有趣有料的文章话不多说,反正就是很牛逼的存在!可以接受反驳,但就是牛逼~下面来看看我的一些朋友是怎么说的吧~火星????哥就是苦逼的码农加班狗,35岁后面临…

  • 干货丨初学者学Java应该安装什么软件?

    干货丨初学者学Java应该安装什么软件?初学者刚刚入门学习需要用到一些开发工具,初学Java一般从控制台应用程序开发开始的,在cmd下调试,为你的电脑搭建好开发环境,需要在网站上下载JDK,安装完成后调试成功就可以开始写你的J…

  • Intellij 部署项目java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener…

    Intellij 部署项目java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号