具体说明 Flume介绍、安装和配置

具体说明 Flume介绍、安装和配置

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

社论:

本文总结“Hadoop生态系统”中的当中一员——Apache Flume

具体说明 Flume介绍、安装和配置

写在前面二:

所用软件说明:

具体说明 Flume介绍、安装和配置

一、什么是Apache Flume

官网:Flume is a distributed, reliable, and availableservicefor efficientlycollecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.


1、flume是一个分布式的日志收集系统,具有高可靠、高可用、事务管理、失败重新启动等功能。数据处理速度快,全然能够用于生产环境。
经常使用的分布式日志收集系统:
Apache Flume、
Facebook Scribe、
Apache Chukwa
2、flume的核心是agent

agent是一个java进程,执行在日志收集端,通过agent接收日志。然后暂存起来,再发送到目的地。
3、agent里面包括3个核心组件:source、channel、sink。

3.1、source组件是专用于收集日志的。能够处理各种类型各种格式的日志数据,包含avro、thrift、exec、jms、spooling directory、netcat、                                          sequence generator、syslog、http、legacy、自己定义。source组件把数据收集来以后。暂时存放在channel中。

3.2、channel组件是在agent中专用于暂时存储数据的,能够存放在memory、jdbc、file、自己定义。
    channel中的数据仅仅有在sink发送成功之后才会被删除。
3.3、sink组件是用于把数据发送到目的地的组件,目的地包含hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自己定义。
4、在整个传输数据过程中。流动的是event。事务保证是在event级别。
5、flume能够支持多级flume的agent,支持扇入(fan-in)、扇出(fan-out)。

Flume简单处理示意图

具体说明 Flume介绍、安装和配置

Flume复杂处理示意图

具体说明 Flume介绍、安装和配置


二、Flume安装配置

2.1、下载Flume

Flume下载链接

2.2、解压缩

      cd /home/yujianxin/flume
      tar -zxvf apache-flume-1.4.0-src.tar.gz ; tar -zxvfapache-flume-1.4.0-bin.tar.gz

     然后把src目录中的内容所有拷贝到bin目录 

2.3、配置Flume环境变量

         具体说明 Flume介绍、安装和配置     

三、验证Flume安装是否成功

      具体说明 Flume介绍、安装和配置

      OK!

出现如上截图,说明Flume安装成功。Flume的使用请关注兴许博文。

 

版权声明:本文博客原创文章,博客,未经同意,不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/117390.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 【转载】C#扫盲之:静态成员、静态方法、静态类、实例成员及区别

    【转载】C#扫盲之:静态成员、静态方法、静态类、实例成员及区别

    2021年11月20日
  • [基础常识]申请免费SSL证书 – 阿里云云盾证书 – Digicert+Symantec 免费型DV SSL

    [基础常识]申请免费SSL证书 – 阿里云云盾证书 – Digicert+Symantec 免费型DV SSL

    2021年10月14日
  • phpstorm2019激活码(破解版激活)

    phpstorm2019激活码(破解版激活),https://javaforall.cn/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

  • 大数据采集架构

    大数据采集架构概述一般来说,当在Hadoop集群上,有足够数据处理的时候,通常会有很多生产数据的服务器。这些服务器的数量上百甚至成千上万。小的数据还可以直接从应用程序写入HDFS,但庞大数量的服务器试着将海量数据直接写入HDFS或者HBase集群,会因为多种原因导致重大问题。所以这个中间系统(数据采集系统)就是将应用程序发送过来的信息转发到分布式的后台服务器集群上,ChuKwaChuKwa是…

  • goland 2021激活码【2021最新】

    (goland 2021激活码)最近有小伙伴私信我,问我这边有没有免费的intellijIdea的激活码,然后我将全栈君台教程分享给他了。激活成功之后他一直表示感谢,哈哈~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html…

  • 钩子函数介绍(vue11个钩子函数)

    钩子(hook)又称钩子函数,是在一个有序的周期中的某些特殊时刻,系统内部预先设置好的函数,当系统周期到达指定时刻会自动执行该’钩子’。钩子函数的函数体内容由开发者编写,这绐了幵发者在不同阶段做某些处理的机会。钩子是很多开发语言,前后端都会涉及的概念,是一种形象的说法,源于Windows的消息处理机制。通过设置钩子,应用程序在消息过去前将其钩住,阻止其传递,然后优先处理开发者的自定义内容,俗称’下个钩子’。系统:初始化..钩子ready()运行..钩子beforeEnd(…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号