Databus for Mysql

Databus for Mysql首先准备Mysql环境,本次使用的Mysql版本是5.7root/Welcome_1:33061.配置mysqlmysql需要配置的有三点:开启binlog,设置binlog格式为ROW(mysql5.7版本默认格式就是ROW,所以这里我没有更改)禁用binlog_checksum开启binlog的方法:vim/etc/my.cnf##添加如下内容:server-id…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

首先准备Mysql环境,本次使用的Mysql版本是5.7 root/Welcome_1:3306

1.配置mysql

mysql需要配置的有三点:

  • 开启binlog,
  • 设置binlog格式为ROW(mysql5.7版本默认格式就是ROW,所以这里我没有更改)
  • 禁用binlog_checksum

开启binlog的方法:

vim /etc/my.cnf 
## 添加如下内容:
server-id=1
log-bin=/var/lib/mysql/mysql-bin
## 添加好后重启
systemctl restart mysqld.service;
mysql -uroot -pWelcome_1
mysql>show variables like 'log_bin%';
mysql> show variables like 'binlog_format';

看到binlog已经开启,并且binlog的格式是ROW。
在这里插入图片描述

禁用binlog_checksum的方法:

mysql> show global variables like 'binlog_checksum';
# 结果是CRC32
set global binlog_checksum=none;
# 再次查询
show global variables like 'binlog_checksum';
# 结果是NONE 禁用成功

2. 准备测试数据库

编译databus

# 首先打开这个文件PersonClientMain.java
vim databus2-example/databus2-example-client/src/main/java/com/linkedin/databus/client/example/PersonClientMain.java
# 将26行改为:
static final String PERSON_SOURCE = "com.linkedin.events.example.or_test.Person";
# 不更改的话默认是读取Oracle示例的,否则后面运行cliet会无法捕获数据变更。
# 更改完毕即可编译:
 gradle -Dopen_source=true assemble
# 运测试环境脚本
$ cd build/databus2-example-relay-pkg/distributions
$ tar -zxvf databus2-example-relay-pkg.tar.gz
 vim bin/create_person.sh
# 将第4行端口号改为3306(默认是33066)
MYSQL='/usr/bin/mysql --protocol=tcp --port=3306'
# 配置mysql本地免密码登录:
 vim ~/.my.cnf
# 输入如下内容
[client]
host='localhost'
user='root'
password='Welcome_1'
# 运行测试环境脚本:
$ cd bin && ./create_person.sh

运行结果如下:
在这里插入图片描述
ERROR 1133 (42000) at line 1: Can’t find any matching row in the user table这个错误是因为这个脚本造成的:

${MYSQL} -uroot -e "GRANT ALL ON *.* TO 'or_test'@'127.0.0.1';"

忽略即可,本来就没有创建127.0.0.1相关的用户,不影响后续。

3.运行relay

首先更改build/databus2-example-relay-pkg/distributions/conf/sources-or-person.json
将其中的参数改为我们要使用的测试环境参数,目前已知端口3306,再查询一下server_id。

mysql> show variables like '%server_id%';//我这里查询到的是1,
# 最终更改结果如下:
{ 
   
    "name" : "person",
    "id"  : 1,
    "uri" : "mysql://or_test%2For_test@localhost:3306/1/mysql-bin",
    "slowSourceQueryThreshold" : 2000,
    "sources" :
    [
        { 
   
        "id" : 40,
        "name" : "com.linkedin.events.example.or_test.Person",
        "uri": "or_test.person",
        "partitionFunction" : "constant:1"
         }
    ]
}

运行relay:

 sh bin/start-example-relay.sh or_person -Y ./conf/sources-or-person.json
# 测试relay:
 curl -s http://localhost:11115/sources
 [{ 
   "name":"com.linkedin.events.example.or_test.Person","id":40}] //得到这个结果代表运行成功。
# 更新一下person表
mysql> update person set first_name='John' where id=1;
#测试relay是否捕获了数据更新事件:
 curl -s http://localhost:11115/containerStats/inbound/events/total?pretty | grep -m1 numDataEvents
"numDataEvents" : 1,//得到这个结果证明已经捕获成功

4.运行Client

cd到example-client文件夹build/databus2-example-client-pkg/distributions

#运行client
 sh bin/start-example-client.sh person
#监控一下client.log日志:
 tail -f logs/client.log
#向person表汇总插入一条数据再删除。
insert into person values(25,'ket','john',sysdate(),false);
delete from person where id=25;

会发现client.log中将两个事件都捕获到了。
在这里插入图片描述
至此,databus for mysql的例子测试完毕。
不过官方文档也指出了目前的软件完成程度Databus-for-MySQL
Future Work

  1. Automatic Avro schema file generation for a given MySQL table
  2. Support for consistent change-capture in a clustered MySQL environment with mastership transfers
  3. Support for global TXID in MySQL-5.6
  4. Multi-tenancy optimizations (w.r.t. number of fetches of binlog files from master and server-side filtering)
  5. Composite keys

目前or_test.person的avro序列化文件是已经生成好的,可以直接使用,但是avro序列化文件生成目前只支持Oracle,官方还没有支持Mysql。

小结:

最近两篇写了databus针对mysql以及Oracle的示例,网络上搜索相关资料比较少,介绍这个工具的文章都说这个工具功能比较完善而且性能好。不过通过这两个例子我发现这个工具相比OGG这种成熟的商用软件,还是显得简陋了。OGG可以通过配置源端和目标端完成数据同步。而databus只完成了数据捕获,如果要实现数据捕获以后同步到目标库,还要自己写程序实现。开发以及学习成本较高。所以我觉得对于多数公司应该不适用。

参考文章:

  1. databus/wiki
  2. inkedin 的 databus 部署
  3. databus bootstrap 部署
  4. Databus架构分析与初步实践(for mysql)(上篇)
  5. Databus架构分析与初步实践(for mysql)(下篇)
  6. Databus部分翻译
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/181342.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 使用HttpClient4,post提交multipart/form-data数据

    使用HttpClient4,post提交multipart/form-data数据问题由来: 在Vert.x的项目中,进行公众号开发的时候,发现回复用户图片的时候需要先上传图片,获取一个media_id,然后拿着这个media_id去发送数据。 问题是,Vert.x的vertx-web-client不提供表单文件上传(form-data)方式post请求。     于是,只能找一个HttpClient方法。发现组装一个这样的请求,并不简单解

  • kali装电脑_Kali安装教程(Windows7和kali双系统安装教程)[通俗易懂]

    kali装电脑_Kali安装教程(Windows7和kali双系统安装教程)[通俗易懂]Kali安装教程(一)Windows7+kali双系统安装准备先安装win7,然后安装kali,并且kali的引导项安装在/boot分区而不安装在MBR中,因为这样的话就算重装win7,kali系统经过简单引导仍然可以使用。Win7的安装此处就不在赘述,现在只聊一聊kali的安装。注:教程中个别截图借用了网上某人热心童鞋的截图,在此表示感谢!!1)准备阶段准备4G的优盘一个;刻录工具为:unetb…

  • RPC接口简介「建议收藏」

    RPC接口简介「建议收藏」什么是RPCRPC(RemoteProcedureCallProtocol)远程过程调用协议。一个通俗的描述是:客户端在不知道调用细节的情况下,调用存在于远程计算机上的某个对象,就像调用本地应用程序中的对象一样。比较正式的描述是:一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC的特点:RPC是协议。只是协议,而非实现。RPC实现包括:Dubbo、Thri…

    2022年10月13日
  • 基于麦克风阵列的现有声源定位技术有_高斯滤波 椒盐噪声

    基于麦克风阵列的现有声源定位技术有_高斯滤波 椒盐噪声目前基于麦克风阵列的声源定位方法大致可以分为三类:基于最大输出功率的可控波束形成技术、基于高分辨率谱图估计技术和基于声音时间差(time-delayestimation,TDE)的声源定位技术。基

  • strstr函数实现_popen函数

    strstr函数实现_popen函数strstr(str1,str2)函数是用来判断字符串str2,是否为字符串str1的子串,若是子串,则返回第一次出现str2处的地址,若不存在子串,则返回一个空指针。#include<stdio.h>#include<assert.h>#include<string.h>intmain(){ chararr1[]=”abbbcdef”; chararr2[]=”bbc”; char*ret=strstr(arr1,arr2);

    2022年10月15日
  • 大数据平台的元数据管理

    大数据平台的元数据管理【概念解释】1,大数据平台——是指服务于大数据计算或存储的平台,包括大数据的计算集群(hive、spark、flink、storm等等)和存储集群(如hadoop、hbase等等)。2,大数据平台涉及的元数据——由大数据作业的业务逻辑直接读写处理的业务数据,都不是元数据,除此之外的数据都是元数据。例如数据表的schema信息、任务之间的血缘关系、任务的权限映射关系、数据的业务属性、数据占用的磁…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号