es与数据库的同步方案

es与数据库的同步方案一、双写模式我们采取MySQL作为主要的数据存储,利用MySQL的事务特性维护数据一致性,使用ElasticSearch进行数据汇集和查询,此时es与数据库的同步方案就尤为重要。保证es与数据库的同步方案:1、首先添加商品入数据库,添加商品成功后,商品入ES,若入ES失败,将失败的商品ID放入redis的缓存队列(或MQ),且失败的商品ID入log文件(若出现redis挂掉,可从日志中取异…

大家好,又见面了,我是你们的朋友全栈君。

一、双写模式

我们采取MySQL作为主要的数据存储,利用MySQL的事务特性维护数据一致性,使用ElasticSearch进行数据汇集和查询,此时es与数据库的同步方案就尤为重要。

保证es与数据库的同步方案:
1、首先添加商品入数据库,添加商品成功后,商品入ES,若入ES失败,将失败的商品ID放入redis的缓存队列(或MQ),且失败的商品ID入log文件(若出现redis挂掉,可从日志中取异常商品ID然后再入ES),
task任务每秒刷新一下redis缓存队列,若是从缓存队列中取到商品ID,则根据商品ID从数据库中获取商品数据然后入ES。

开发es与数据库同步小工具:
1、全量导入
2、根据ID批量导入

 

二、开源框架

1、使用canal(阿里开源的中间件,主要用于同步mysql数据库变更):https://blog.csdn.net/wwd0501/article/details/83503374

2、使用databus:https://www.jianshu.com/p/5dba22e3430a?utm_source=oschina-app

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/144755.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 解决pycharm安装cv2模块无法安装的方法「建议收藏」

    解决pycharm安装cv2模块无法安装的方法「建议收藏」关于pycharm安装cv2模块安装失败和无法使用的解决办法:首先,我们先到这个网址:https://pypi.org/project/opencv-python/3.4.5.20/#files去下载与自己python版本号和电脑位数对应的opencv-python的whl文件,我这里是python3.6版本,对应电脑64位,所以我下载的是我这里是python3.6版本,对应电脑64位,所以我下载的是opencv_python-3.4.5.20-cp36-cp36m-win_amd64.whl。大家

  • 【第三篇】Spring-Session实现Session共享实现原理以及源码解析「建议收藏」

    知其然,还要知其所以然 !本篇介绍Spring-Session的整个实现的原理。以及对核心的源码进行简单的介绍!实现原理介绍实现原理这里简单说明描述: 就是当Web服务器接收到http请求后,当请求进入对应的Filter进行过滤,将原本需要由web服务器创建会话的过程转交给Spring-Session进行创建,本来创建的会话保存在Web服务器内存中,通过Spring-…

  • 清博舆情系统_什么是舆情

    清博舆情系统_什么是舆情一、引言1.1 编写目的  编写此文档的目的是通过系统的详细设计指导系统的编码等工作。1.2 背景A. 待开发系统的名称:舆情分析系统B. 系统架构类型:BS架构类型,即浏览器、服务器架构类型C.开发项目组名称:东北大学软件学院大数据班T09实训项目组(lzf、lcx)1.3 参考资料系统详细设计说明书模板:https://wenku.baidu.com/view/1ad0617ddd88d0d232d46a21.html《舆情分析系统-软件需求分析说明书.docx》《舆情分

  • MySQL与SqlServer的区别「建议收藏」

    MySQL与SqlServer的区别「建议收藏」一、MySQL与SqlServer的区别目前最流行的两种后台数据库即为Mysql和SQLServer。这两者最基本的相似之处在于数据存储和属于查询系统,你可以使用SQL来访问这两种数据库的数据,因为它们都支持ANSI-SQL(数据库管理标准)。还有,这两种数据库系统都支持二进制关键字和关键索引,这就大大地加快了查询速度。同时,二者也都提供支持XML的各种格式。根本的区别:SQL服务器的狭隘的、保守的存储引擎而MySQL服务器的可扩展、开放的存储引擎;SQL服务器的引擎是Sybase,而MyS

  • Spring Boot第八章-Spring Data JPA

    Spring Boot第八章-Spring Data JPA

  • ASMX

    ASMX当Microsoft®.NETFramework第一次发布时,它引入了一个有突破性的Web服务框架,那就是ASMX。设计ASMX的目的在于尽可能地简化Web服务的开发过程,这样即使您不是XML专家,也可以创建并运行Web服务。ASMX是通过隐藏大多数基础XML和Web服务细节来实现这一点的。与强制开发人员直接处理SOAP信封和Web服务描述语言(W

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号