elk怎么搭建_搭建网站的过程

elk怎么搭建_搭建网站的过程1.服务器使用阿里云服务器(方便),抢占式实例(便宜),4核16G,系统选择centos7.4/64位(好用)。购买地址:https://ecs-buy.aliyun.com/我们只是测试学习使用,把端口权限全开就行(不然外网访问不了),安全组配置那里添加如下:2.下载ELK的包:下载地址:https://www.elastic.co/downloads下载最新版的、l…

大家好,又见面了,我是你们的朋友全栈君。

1.服务器

使用阿里云服务器(方便),抢占式实例(便宜),4核16G,系统选择centos7.4/64位(好用)。购买地址:https://ecs-buy.aliyun.com/

我们只是测试学习使用,把端口权限全开就行(不然外网访问不了),安全组配置那里添加如下:

elk怎么搭建_搭建网站的过程

elk怎么搭建_搭建网站的过程

2.下载ELK的包:

下载地址:https://www.elastic.co/downloads

下载最新版的、linux服务器能使用的。

右键复制链接地址,wget就可以下载,如:wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz

下载完,解压,如:  tar -zxvf elasticsearch-6.4.3.tar.gz

有的需要使用unzip解压,需要使用: yum install unzip  下载安装unzip工具

弄完了如下图:

elk怎么搭建_搭建网站的过程

3.elasticsearch配置启动

先安装jdk1.8,在centos7.4里面,直接yum install tomcat就行,会自动安装好tomcat和jdk1.8,完了java -version看下版本:

elk怎么搭建_搭建网站的过程

解压后进入config目录:cd elasticsearch-6.4.2/config,vim elasticsearch.yml 修改配置文件,在最下面加入如下几行:

network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"

注意,root用户是不能直接启动elasticsearch的,需要新建用户,然后切换用户去启动elasticsearch,如下:

  • 创建elsearch用户组及elsearch用户

    1. groupadd elsearch

    2. useradd elsearch -g elsearch -p elasticsearch

  • 更改elasticsearch-6.4.2文件夹及内部文件的所属用户及组为elsearch:elsearch

    1. cd切换到elasticsearch-6.4.2的父路径下

    2. chown -R elsearch:elsearch elasticsearch-6.4.2

  • 切换到elsearch用户再启动

    1. su elsearch

    2. cd elasticsearch-6.4.2/bin

    3. sh elasticsearch &

至此,elasticsearch配置启动完毕,可以在浏览器输入url:   服务器外网ip:9200 查看是否成功启动:

elk怎么搭建_搭建网站的过程

4.kibana配置启动

按照上面的操作,可以先切回root用户了:su root     需要输入root密码

然后cd kibana-6.4.2-linux-x86_64/config/  进入kibana的配置文件夹,

 vim kibana.yml  编辑配置文件,在最后面加上如下配置就行:


server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"
kibana.index: ".kibana"

cd命令进入bin目录,

sh kibana &   启动kibana

启动完毕,可以浏览器输入url:   服务器外网ip:5601 查看是否成功启动:

elk怎么搭建_搭建网站的过程

5.logstash配置启动

现在可以配置logstash了

cd logstash-6.4.2/bin/进入bin目录

新建文件 vim logstash1.conf ,写入内容(监听tomcat的日志):

input {
    file {
        path => "/usr/share/tomcat/logs/*.log"
        start_position => beginning
    }
}
filter {

}
output {
    elasticsearch {
    hosts => "localhost:9200"
    }

}

启动logstash:sh logstash -f logstash1.conf  &

如果提示–path.data的问题,则需要指定path.data的路径,随便找个路径就行,

我的是这样启动:sh logstash -f logstash1.conf  –path.data=/home/elk/logstash-6.4.2/logs &

完了可以看到kibana上面有logstash推送过去的日志了

logstash配置mysql数据同步到elasticsearch:我参考的(https://blog.csdn.net/hatlonely/article/details/79945539)

获取 jdbc mysql 驱动:

wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.46.zip
unzip mysql-connector-java-5.1.46.zip

可以把解压后的mysql-connector-java-5.1.46-bin.jar复制到bin目录,方便启动

在bin目录新建配置文件    vim mysql-logstash.cnf ,写入:


input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://ip:3306/db_name"
    jdbc_user => "jdbc_user"
    jdbc_password => "jdbc_password"
    schedule => "* * * * *"
    statement => "SELECT * FROM table WHERE 时间字段 >= :sql_last_value"
    use_column_value => true
    tracking_column_type => "timestamp"
    tracking_column => "时间字段"
    last_run_metadata_path => "syncpoint_table"
  }
}


output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "索引名称"
    document_id => "%{主键字段}"
  }
}

需要先把logstash停了,在重启

netstat -ntlp  命令查看端口为9600的进程,

然后kill 线程id,我的是 kill 25437

elk怎么搭建_搭建网站的过程

 

使用命令 sh logstash -f mysql-logstash.cnf  –path.data=/home/elk/logstash-6.4.2/logs &

启动logstash

完了在kibana可以看到同步过去的数据,我的是这样的: 

elk怎么搭建_搭建网站的过程

 

至此,elk基本集成完毕!如果还有什么问题,都可以百度到解决方法的。

另外附上两个教程:

elasticsearch集成head插件查看es的数据:https://blog.csdn.net/mjlfto/article/details/79772848

kibana基础教程:https://www.elastic.co/guide/cn/kibana/current/introduction.html

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/125183.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 皮尔森相关系数(Pearson correlation coefficient)「建议收藏」

    皮尔森相关系数(Pearson correlation coefficient)「建议收藏」概述定义物理意义皮尔森距离机器学习中的应用代码实现概述皮尔森相关系数也称皮尔森积矩相关系数(Pearsonproduct-momentcorrelationcoefficient),是一种线性相关系数,是最常用的一种相关系数。记为r,用来反映两个变量X和Y的线性相关程度,r值介于-1到1之间,绝对值越大表明相关性越强。定义总体相关系数ρ定义为两…

  • 最长上升子序列(n*log n)

    最长上升子序列(n*log n)转载于:http://www.cnblogs.com/dongsheng/archive/2013/01/25/2876323.htmlNYOJ-214单调递增子序列(二)单调递增子序列(二)时间限制:1000 ms |          内存限制:65535 KB难度:4 描述给定一整型数列{a1,a2…,an}(0<n<=100000),找出单…

  • fontTools(ttf转xml)

    2019独角兽企业重金招聘Python工程师标准>>>…

  • python灰度图生成g代码_artcam pro 通过灰度图生成G代码详细图文教程

    python灰度图生成g代码_artcam pro 通过灰度图生成G代码详细图文教程本文是使用artcampro把灰度图转成G代码,看到喜欢的雕刻,可以自己先做成灰度图,然后转换成G代码,今天特地做了一个教程,仅供刚刚接触者使用!新手可以看看,老手请高抬贵手,不要嘲笑。自己技术有限,将就看吧!希望对大家有用!灰度图生成G代码详细图文教程如下:1、先找一张灰度图:2、打开软件,点“文件”–“新的”–“通过图像文件”,找到刚才自己打开的灰度图,双击图片就可以了。3、设置雕刻尺…

  • Ubuntu卸载CUDA_ubuntu怎么卸载已经安装的软件

    Ubuntu卸载CUDA_ubuntu怎么卸载已经安装的软件1.暴力卸载sudoapt-getpurgenvidia*sudoapt-getautoremovesudoapt-getautoclean2.主动卸载sudo/usr/local/cuda-8.0/bin/uninstall_cuda_8.0.pl

  • 狂神说Java全栈学习路线

    狂神说Java全栈学习路线很多同学学习Java苦于没有自己的完整学习步骤,在这里,秦老师给大家奉上一份完整的学习计划~干货满满,关注收藏转发呀!不胜感激!一、Java基础二、JavaWeb三、SSM框架四、Lin…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号