具体说明 Flume介绍、安装和配置

具体说明 Flume介绍、安装和配置

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

社论:

本文总结“Hadoop生态系统”中的当中一员——Apache Flume

具体说明 Flume介绍、安装和配置

写在前面二:

所用软件说明:

具体说明 Flume介绍、安装和配置

一、什么是Apache Flume

官网:Flume is a distributed, reliable, and availableservicefor efficientlycollecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.


1、flume是一个分布式的日志收集系统,具有高可靠、高可用、事务管理、失败重新启动等功能。数据处理速度快,全然能够用于生产环境。
经常使用的分布式日志收集系统:
Apache Flume、
Facebook Scribe、
Apache Chukwa
2、flume的核心是agent

agent是一个java进程,执行在日志收集端,通过agent接收日志。然后暂存起来,再发送到目的地。
3、agent里面包括3个核心组件:source、channel、sink。

3.1、source组件是专用于收集日志的。能够处理各种类型各种格式的日志数据,包含avro、thrift、exec、jms、spooling directory、netcat、                                          sequence generator、syslog、http、legacy、自己定义。source组件把数据收集来以后。暂时存放在channel中。

3.2、channel组件是在agent中专用于暂时存储数据的,能够存放在memory、jdbc、file、自己定义。
    channel中的数据仅仅有在sink发送成功之后才会被删除。
3.3、sink组件是用于把数据发送到目的地的组件,目的地包含hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自己定义。
4、在整个传输数据过程中。流动的是event。事务保证是在event级别。
5、flume能够支持多级flume的agent,支持扇入(fan-in)、扇出(fan-out)。

Flume简单处理示意图

具体说明 Flume介绍、安装和配置

Flume复杂处理示意图

具体说明 Flume介绍、安装和配置


二、Flume安装配置

2.1、下载Flume

Flume下载链接

2.2、解压缩

      cd /home/yujianxin/flume
      tar -zxvf apache-flume-1.4.0-src.tar.gz ; tar -zxvfapache-flume-1.4.0-bin.tar.gz

     然后把src目录中的内容所有拷贝到bin目录 

2.3、配置Flume环境变量

         具体说明 Flume介绍、安装和配置     

三、验证Flume安装是否成功

      具体说明 Flume介绍、安装和配置

      OK!

出现如上截图,说明Flume安装成功。Flume的使用请关注兴许博文。

 

版权声明:本文博客原创文章,博客,未经同意,不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/117390.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • C#之ArcGIS二次开发

    C#之ArcGIS二次开发根据图层名称获取图层publicIFeatureLayergetLayer(AxMapControlaxMapControl,stringlayerName){if(axMapControl.LayerCount>0){for(inti=0;i

  • android程序员的感悟

    android程序员的感悟来公司上班快3个约了,本人是新手。一个刚刚还没有毕业,参加过培训的android新手。自我感觉学习很一般,很荣幸被现在的公司看中。    我的公司是一个刚刚成立的新公司,我倒是公司公司刚成立差不多就两周。所以我在这个公司现在还算是个老程序员。老板对我还不错。  公司就我一个做android的。android方面都有我自己负责。感谢公司对我的信任,我会加倍认真工作和学习,公司每天9点上班

  • 场景+案例分析,SQL优化这么做就对了!

    点击上方“全栈程序员社区”,星标公众号 重磅干货,第一时间送达 作者:狼爷 cnblogs.com/powercto/p/14410128.html 目录 前言 SQL优化一般步骤…

  • [ACM] HDU 5083 Instruction (模拟)

    [ACM] HDU 5083 Instruction (模拟)

  • 前端盲水印_前端代码review

    前端盲水印_前端代码review需求给图片加上看不到的水印,当通过其他的方式可以清楚的看到图片中暗藏的水印,以此方式追溯到泄密的人解决办法利用canvas实现图片和水印的绘制,具体过程如下:新建canvas,宽度和高度取要加水印的图片的宽度和高度 在该canvas上绘制要添加的水印文字,文字透明度设置要特别的低,但是当水印透明度小于等于0.003,不可恢复到水印。所以我们设置透明度要不得低于0.003 将该canvas转成img(为什么canvas要转成img?之前遇到canvas在移动端无法长按出现保存、转发等操作)

    2022年10月30日
  • github中删除项目

    github中删除项目

    2021年10月15日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号