flume与kafka应用场景解析「建议收藏」

flume与kafka应用场景解析「建议收藏」今天也要努力学习flume与kafka是同级的一个消息传输通道:但是有各自的定位1:kafka定位消息队列,它可以有许多的生产者和消费者,并可以共享一个主题topic队列。而flume是定位数据传输,相比下,flume是一个专用工具被设计为旨在往HDFS,HBASE发送数据。它对H…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

                                                     今天也要努力学习

 flume与kafka是同级的一个消息传输通道:但是有各自的定位

 1:kafka定位消息队列,它可以有许多的生产者和消费者,并可以共享一个主题topic队列。而flume是定位数据传输,相比下,flume是一个专用工具被设计为旨在往HDFS,HBASE发送数据。它对HDFS有特殊的优化,并且集成了hadoop的安全特性。如果有多个dataconsumer,选择kafka,如果数据设计给hadoop使用,使用flume。

2:flume可以使用拦截器(timestamp interceptor,host interceptor,regex filtering interceptor)实时处理数据。这些对数据屏蔽或者过量是很有作用的,而kafka需要外部的流处理系统才能做到。

3:kafka和flume都是可靠的系统,可以通过适当的配置保证零数据丢失,区别在于flume不支持副本事件,当flume节点挂掉的时候,即便你使用了高可用的文件管道方式,你也将丢失这些事件直到你恢复这些磁盘,如果你需要一个高可靠的传输,kafka是一个更好的选择。

4:相对于日志采集,线上数据一般是通过落地文件或者通过socket传输给另外一个系统,这种情况下,你很难推动线上的应用或者服务去修改接口,直接向kafka里面写数据,这时候你可能就需要flume这样的系统去帮你做传输。

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182143.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • JavaWeb项目org.apache.jasper.JasperException: 解决方法

    descriptionTheserverencounteredaninternalerror()thatpreventeditfromfulfillingthisrequest.exceptionorg.apache.jasper.JasperException:/PCManage/controlsecletthenews.jsp(303,12)ThefunctiongetNidmustbeusedwithaprefixwhenadefaultname

  • js如何创建数组

    js如何创建数组如何创建数组使用数组之前首先要创建,而且需要把数组本身赋至一个变量。好比我们出游,要组团,并给团定个名字“云南之旅”。创建数组语法:varmyarray=newArray();        我们创建数组的同时,还可以为数组指定长度,长度可任意指定。varmyarray=newArray(8);//创建数组,存储8个数据。 注意:1.创

  • maven配置阿里云仓库完整版

    maven配置阿里云仓库完整版阿里云仓库完成版好多博客仅仅是配置一个mirror,但是不一定起作用,还需要配置profiles节点,完整版如下:<?xmlversion="1.0"encoding="UTF-8"?><!–LicensedtotheApacheSoftwareFoundation(ASF)underoneormorecontributorlicens…

  • Asp.net 视频摘要

    Asp.net 视频摘要

  • CentOS 7 升级 Linux 内核

    CentOS 7 升级 Linux 内核升级CentOS内核参考资料1升级CentOS内核参考资料2通过/proc虚拟文件系统读取或配置内核Linux内核官网CentOS官网1.关于Linux内核Linux内核分两种:官方内核(通常是内核开发人员用)和各大Linux发行版内核(一般用户常用)。1.1官方内核在使用Docker时,发现其对Linux内核版本的最低要求…

  • 网络安全自学笔记(网络安全笔记300字)

    目录WEB(应用)安全前端安全xss攻击后端安全文件上传漏洞WebShell解析安全数据安全sql注入通信安全WEB(应用)安全前端安全xss攻击后端安全文件上传漏洞WebShell解析安全数据安全sql注入网络安全-sqlmap学习笔记通信安全网络-http协议学习笔记(消息结构、请求方法、状态码等)…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号