利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍logstash-input-jdbc安装超痛苦,专门写了一篇文章发出来使大家安装的时候不用那么费劲。利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

大家好,又见面了,我是你们的朋友全栈君。

参考链接:

1, 源码地址,官方介绍

2, logstash-input-jdbc使用建议

3, 官网介绍例子,使用 logstash-input-jdbc 到 elasticsearch

一、安装 elastisearch, logstash

参考我的上一篇链接 :centos下 ELK部署文档

二、安装logstash-input-jdbc插件

logstash-input-jdbc插件是logstash 的一个个插件。

使用ruby语言开发。

下载插件过程中最大的坑是下载插件相关的依赖的时候下不动,因为国内网络的原因,访问不到亚马逊的服务器。

解决办法,改成国内的ruby仓库镜像。此镜像托管于淘宝的阿里云服务器上 :

淘宝镜像官网地址

1, 如果没有安装 gem 的话 安装gem 

sudo yum install gem

替换淘宝

1,gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/
2,gem sources -l

*** CURRENT SOURCES ***

https://ruby.taobao.org
# 请确保只有 ruby.taobao.org
如果 还是显示 https://rubygems.org/ 进入 home的 .gemrc 文件
sudo vim ~/.gemrc 
手动删除 https://rubygems.org/

2, 修改Gemfile的数据源地址。步骤:

1, whereis logstash # 查看logstash安装的位置, 我的在 /opt/logstash/ 目录
2, sudo vi Gemfile # 
修改 source 的值 为: "https://ruby.taobao.org"
3, sudo vi Gemfile.jruby-1.9.lock # 找到 remote 修改它的值为: https://ruby.taobao.org

或者直接替换源这样你不用改你的 Gemfile 的 source。

sudo gem install bundler


$ bundle config mirror.https://rubygems.org https://ruby.taobao.org

安装logstash-input-jdbc 

我一共试了三种方法,一开始都没有成功,原因如上,镜像的问题。一旦镜像配置成淘宝的了,理论上随便选择一种安装都可以成功,我用的是第三种。

第一种:

cd /opt/logstash/

sudo bin/plugin install logstash-input-jdbc

如果成功就成功了。

第二种:

1,进入源码地址的release页面logstash-input-jdbc

选择对应的版本。我的logstash版本是1.4.0,对应的插件版本是1.0.0

关于插件版本的选择 参考这里:这是ruby Gemfile所有插件的官方地址,参考logstash-core ,如果你的logstash版本跟他对应上,那么这个插件的版本就是你要的版本

2,复制 1.0.0的下载地址

cd /opt/logstash
sudo wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip
sudo bin/plugin install v1.0.0.zip

如果成功了就成功了

3, 遗憾的是上两个步骤都没成功,我是手动装的。

参考 安装jdbc插件的问题, 这篇文章的最后 ,这为好心的姑娘,也建议改变gemgile里的镜像,我估计这姑娘是chinese。

$ cd /opt/logstash
$ wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip
$ unzip master.zip
$ cd logstash-input-jdbc-master

注意,有坑:
1, 修该 里面的 Gemfile 
sudo vi Gemfile  
修改 source 的值 为: "https://ruby.taobao.org"

2,修改 logstash-input-jdbc.gemspec
sudo vi logstash-input-jdbc.gemspec
找到 
    s.files = `git ls-files`.split($\)
改为:
    s.files = [".gitignore", "CHANGELOG.md", "Gemfile", "LICENSE", "NOTICE.TXT", "README.md", "Rakefile", "lib/logstash/inputs/jdbc.rb", "lib/logstash/plugin_mixins/jdbc.rb", "logstash-input-jdbc.gemspec", "spec/inputs/jdbc_spec.rb"]
OK! 继续.....

$ gem build logstash-input-jdbc.gemspec
(output:
fatal: Not a git repository (or any of the parent directories): .git
Successfully built RubyGem
Name: logstash-input-jdbc
Version: 1.0.0
File: logstash-input-jdbc-1.0.0.gem)
$ mv logstash-input-jdbc-1.0.0.gem /opt/logstash/
$ cd ..
$ bin/plugin install logstash-input-jdbc-1.0.0.gem

如果再不成功 我也没招了。

三、实现样例。

假如上面步骤都搞定了…重点来了 继续看…没搞定也可以接着看啦..hahahaha….实战……

目的 : 监听数据表的数据,当我有新增时增加到elasticsearch,当我修改时,update到elasticsearch。

第一 前提:

1, 我有mysql数据库,我有一张hotel 表, hotel_account表(此表里有hotel_id), 里面无数据。

2,已经启动 elasticsearch . 地址是 http://192.168.0.45 端口:9200.

3,已经安装 logstash, 地址在 /opt/logstash

第二 准备

两个文件: jdbc.conf  

                   jdbc.sql 。名字随便起啦。

  一个 mysql 的java 驱动包  : mysql-connector-java-5.1.36-bin.jar

jdbc.conf 内容:

注意 statement_filepath => “jdbc.sql” 这个名字要跟下面的sql文件的名字对应上。

参考 logstash-input-jdbc官方参考文档

重点字段说明:

schedule:设置监听间隔。可以设置每隔多久监听一次什么的。具体参考官方文档。

statement_filepath: 执行的sql 文件路径+名称

input {
    stdin {
    }
    jdbc {
      # mysql jdbc connection string to our backup databse
      jdbc_connection_string => "jdbc:mysql://192.168.0.49:3306/dfb"
      # the user we wish to excute our statement as
      jdbc_user => "test"
      jdbc_password => "test"
      # the path to our downloaded jdbc driver
      jdbc_driver_library => "/opt/logstash/mysql-connector-java-5.1.36-bin.jar"
      # the name of the driver class for mysql
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement_filepath => "jdbc.sql"
      schedule => "* * * * *"
      type => "jdbc"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        host => "192.168.0.199"
        port => "9200"
        protocol => "http"
        index => "mysql01"
        document_id => "%{id}"
        cluster => "logstash-elasticsearch"
    }
    stdout {
        codec => json_lines
    }
}

jdbc.sql 

select 
    h.id as id, 
    h.hotel_name as name, 
    h.photo_url as img,
    ha.id as haId, 
    ha.finance_person
from 
    hotel h LEFT JOIN hotel_account ha on h.id = ha.hotel_id
where 
    h.last_modify_time >= :sql_last_start

第三: 启动 logstash

sudo bin/logstash -f jdbc.conf

如果一切顺利 应该如图:

利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

现在 logstash 已经开始监听mysql 的表了。查询哪些表 就在jdbc.sql 写sql语句就行了。

现在 手动的 hotel, hotel_account 分别增加一条数据:

 INSERT INTO hotel(hotel_name, photo_url) VALUES("马二帅酒店","images/madashuai.img");

找到 hotel 的id 

INSERT INTO hotel_account(hotel_id, finance_person) VALUES(15627, "马二帅");

大约30秒的时候查看es

利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

很好马二帅酒店已经增加进来了。

现在修改下 hotel_account 

UPDATE hotel_account SET finance_person = "马二帅修改为马小帅" where id = 1601;

利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

修改也能监听到哦。

OK到此为止,使用logstash-input-jdbc插件增量监听es就介绍完咯

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/152252.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • deepfakes怎么用_手把手教你使用 Deepfakes 换脸

    deepfakes怎么用_手把手教你使用 Deepfakes 换脸做为程序员,不会换脸软件怎么能忍?下面教你们徒手使用Deepfakes换脸。python如何使用Deepfakes换脸?git获取deepfakes工具包程序员gitclonehttps://github.com/deepfakes/faceswap.git补齐依赖包:githubpipinstalltqdmpipinstallcv2pipinstallopencv-c…

  • Centos 7配置LAMP「建议收藏」

    Centos 7配置LAMP「建议收藏」LAMP指的Linux(操作系统)、ApacheHTTP服务器,MySQL(有时也指MariaDB,数据库软件)和PHP(有时也是指Perl或Python)的第一个字母,一般用来建立web应用平台。所有组成产品均是开源软件,是国际上成熟的架构框架,很多流行的商业应用都是采取这个架构,和Java/J2EE架构相比,LAMP具有Web资源丰富、轻量、快速开发等特点,微软的.NET架构相比,LAMP…

  • List集合转换成Json字符串

    List集合转换成Json字符串前言进行转换我们使用alibaba的jsonjar:com.alibaba.fastjson.jar1.导入依赖或者直接导入jar<dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId&…

    2022年10月18日
  • java编译命令是什么_Java编译命令整理

    java编译命令是什么_Java编译命令整理引言近期在做Android相关开发工作,不可避免的需要接触Java层的调用机制,好多年不用Java了,这里整理下相关的编译命令。作为后续参考使用,也防止每次都需要到处查找。基本概念javac-Javaprogramminglanguagecompiler,Java编译器,类似gccjava-theJavaApplicationLauncher,Java程序加载器,类似操作系统的…

  • Java中动态代理的两种方式JDK动态代理和cglib动态代理以及区别

    Java中动态代理的两种方式JDK动态代理和cglib动态代理以及区别上篇介绍了一下静态代理:Java中的代理模式——静态代理以及分析静态代理的缺点也分析了一下静态代理的缺点:1、由于静态代理中的代理类是针对某一个类去做代理的,那么假设一个系统中有100个Service,则需要创建100个代理类2、如果一个Service中有很多方法需要事务(增强动作),发现代理对象的方法中还是有很多重复的代码3、由第一点和第二点可以得出:静态代理的重用性不强那怎…

  • 计算机网络原理(谢希仁第八版)第六章课后习题答案

    计算机网络原理(谢希仁第八版)第六章课后习题答案第六章

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号