Flume和Kafka的区别与联系「建议收藏」

Flume和Kafka的区别与联系「建议收藏」目录区别点一:区别点二:同样是流式数据采集框架,flume一般用于日志采集,可以定制很多数据源,减少开发量,基本架构是一个flume进程agent(source、拦截器、选择器、channel<MemoryChannel、FileChannel>、sink),其中传递的是原子性的event数据;使用双层Flume架构可以实现一层数据采集,一层数据集合;Flu…

大家好,又见面了,我是你们的朋友全栈君。

目录

区别点一:

区别点二:


同样是流式数据采集框架,

flume一般用于日志采集,可以定制很多数据源,减少开发量,基本架构是一个flume进程agent(source、拦截器、选择器、channel<Memory Channel、File Channel>、sink),其中传递的是原子性的event数据;

使用双层Flume架构可以实现一层数据采集,一层数据集合;

Flume的概念、基本架构

kafka一般用于日志缓存,是一个可持久的分布式消息队列,自带存储,提供push和pull两种存储数据功能;包括producer、kafkaCluster(broker:topic、partition)、consumer,依赖于Zookeeper(brokerid、topic、partition元数据存在ZNode,partition选举leader依赖Zookeeper);

Kafka的概念、基本架构

区别点一:

flume和kafka的侧重点不同,

而flume追求的是数据和数据源、数据流向的多样性,适合多个生产者的场景;flume有自己内置的多种source和sink组件,具体操作方式是编写source、channel和sink的.conf配置文件,开启flume组件的时候用命令关联读取配置文件实现;

# 开启flume的脚本部分:

$FLUME_HOME/bin/flume-ng 
agent
 -c $FLUME_HOME/conf
 -f $JOB_HOME/flume-hdfs.conf
 -n agent-hdfs
 -Dflume.root.logger=info,
 console >$FLUME_HOME/logs/flume-hdfs.log  2>&1 &

-c:flume启动读取的配置文件flume-env.sh(指定JDK路径)存储在/conf目录中
-f:编写好source、interceptor、selector、channel和sink的配置文件flume-hdfs.conf的存储目录
-n:表示给flume-hdfs.conf中的agent起名为agent-hdfs
--------------------以下可不写-------------------
-D:表示flume运行时动态修改flume.root.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error,仅为Debug使用,生产环境一般不用
console:打印日志发送路径

kafka追求的是高吞吐,高负载,同一topic下可以有多个partition,由于是pull模式拉取数据,因此适合多个消费者的场景;kafka没有内置的producer和consumer组件,需要自己编写代码。

区别点二:

flume和kafka的定位有所不同:

1. flume

cloudera公司研发,适合多个生产者;

适合下游数据消费者不多的情况;(一个消费者开一个channel)

适合数据安全性要求不高的操作;(数据没有备份、没有副本)

适合与Hadoop生态圈对接的操作。(HDFS、Hbase等)

适合生产和收集数据

 

2. kafka

linkedin公司研发,适合多个消费者;

适合数据下游消费众多的情况;(kafka从磁盘读,并且只找Leader读)

适合数据安全性要求较高的操作,支持replication(多副本)。

适合消费数据

 

因此工作中常用的一种模型是:

线上数据 –> flume –> kafka –> HDFS –> hive/MR计算

                                              –> SparkStreaming计算

也有kafka与springboot组合,采集数据后交给sparkStreaming进行流式计算

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/152345.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • BestSync同步软件 同步 VM 虚拟机里的Linux系统下Tomcat webapps里的项目

    BestSync同步软件 同步 VM 虚拟机里的Linux系统下Tomcat webapps里的项目

  • apache 和 nginx 的区别

    apache 和 nginx 的区别1、nginx比apache占用更少的内存及资源2、抗并发—–nginx处理请求是异步非阻塞的,而apache则是阻塞型的,在高并发下nginx能保持低资源低消耗高性能3、apache少bug,nginx的bug相对较多 4、nginx运行效率高,占用资源少,代理功能强大,很适合做前端响应服务器5、Apache在处理动态有优势,Nginx并发性比较好,CPU

  • 几百万数据放入内存不会把系统撑爆吗?「建议收藏」

    几百万数据放入内存不会把系统撑爆吗?

  • not found for libcrypto「建议收藏」

    not found for libcrypto「建议收藏」解决方法sudocp/usr/lib/libcrypto.35.dyliblibcrypto.35.dylib参考:Unabletoconfigureopenssl,libcryptonotfounderrorwithopenssllibraryinstalled

  • cmd跑绿色代码_cmd装逼代码-cmd命令,装逼

    cmd跑绿色代码_cmd装逼代码-cmd命令,装逼本教程分享:《cmd装逼代码》如何使用命令提示符装逼事先声明,如果你不知道打开windows的命令行工具,我是绝对不会告诉你是用windows+R,然后键入cmd打开的windows自带的命令行工具很强大,毕竟计算机一开始都是以键入命令的方式来操作的,但现如今计算机的发展,许多在过去需要去记大量命令才能完成的操作,现如今通过傻瓜式的点选都可以完成。作为一名有逼格的程序员,在计算机如今图形界面…

  • CentOs6.5上安装Docker完整版

    CentOs6.5上安装Docker完整版早上上班发现之前win10更新了一次,台式机上安装的虚拟机打开变得超级慢,更不要说查看docker相关东西,烦人。只能在自己笔记本上安装docker,测试下案例。——————————————————————————————————————————————————步骤:1、在本机安装Docker需要的epel库(yum安装epel库) 命令:yum install -y epel-…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号