Storm翻版:开源实时数据处理系统Samza

Storm翻版:开源实时数据处理系统Samza

转载自:http://www.kankanews.com/ICkengine/archives/49449.shtml

Twitter的流处理系统Storm最近出现了一个“翻版”——Samza。Samza是近日由LinkedIn开源的一项技术,它是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop,而且使用了LinkedIn自家的Kafka分布式消息系统。

Storm和Samza极其相似,就像LinkedIn的Chris Riccomini在博客中阐述的那样:“[Samza]可以帮助你构建应用,处理消息队列——更新数据库、计数以及其他的聚合、转换消息等等。”而这些其实都是很经典的Storm应用,只不过迁移到Samza之上了,Samza文档也对比了这两个系统。

上个月,Samza在各种论坛和社区上被广泛传播,其中有评论指出了Samza可能带来的好处:

“跟很多人一样,我们使用Storm来处理基于Kafka的流数据,然后,再将这些数据发送到Hadoop上进行离线分析。如果能把这三个环境整合到一起,就是一个很大的胜利。“

表面上看,这似乎是一个很不错的想法。Apache软件基金会的项目主页,介绍了搭配使用Kafka和YARN的特点和优势。

高容错:  如果服务器或者处理器出现故障,Samza将与YARN一起重新启动流处理器。

高可靠性:Samza使用Kafka来保证所有消息都会按照写入分区的顺序进行处理,绝对不会丢失任何消息。

可扩展性:Samza在各个等级进行分割和分布;Kafka提供一个有序、可分割、可重部署、高容错的系统;YARN提供了一个分布式环境供Samza容器来运行。

Samza的未来

至于Samza能不能像Storm一样吸引大量的用户和社区参与创新,还有待观察。但是LinkedIn肯定会像Twitter开发Storm一样来保证Samza的发展,而且后者在可用性上更具优势,毕竟运行在YARN或者Mesos框架上的Samza多了一些灵活性。

如果Samza未来有一个很好的前景,那么YARN也对得起Hadoop社区在过去18月的“炒作”,它不仅可以运行Storm,还可以运行Samza,甚至还可以运行其他很多的东西。这点很重要,毕竟很多软件厂商都把大数据的“期货”(甚至整个未来)压在了Hadoop上,他们希望这个平台能成为最后的赢家。

以往对MapReduce技术的依赖限制了Hadoop的适用性,但是YARN已经开放了对大规模的流处理、交互式SQL查询、机器学习和图像处理负载的支持。随着技术的日新月异,Hadoop成为支撑所有大数据应用库的想法变得更加现实。

推荐阅读:

Twitter Storm安装配置(集群)笔记 http://www.linuxidc.com/Linux/2013-05/84307.htm

安装Twitter Storm集群 http://www.linuxidc.com/Linux/2012-07/66336.htm

Twitter Storm安装配置(单机版)笔记 http://www.linuxidc.com/Linux/2013-05/84306.htm

Storm 实战及实例讲解一 http://www.linuxidc.com/Linux/2012-08/69146.htm

转载于:https://my.oschina.net/u/2326085/blog/391232

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/109505.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • python中的if语句格式_python if判断

    python中的if语句格式_python if判断if判断语句if判断语句介绍if语句是用来进行判断的,其使用格式如下:if要判断的条件:条件成立时,要做的事情demo1:age=30print”——if判断开始——“ifage>=18:print”我已经成年了”print”——if判断结束——“

  • CentOS7增加或修改SSH端口号

    CentOS7增加或修改SSH端口号

    2021年10月18日
  • 什么是java 前端_为什么很多人选择前端而不选择 Java?

    什么是java 前端_为什么很多人选择前端而不选择 Java?互联网常见的九种职业,和游戏中的角色一样,不同的职业都有不同的特点。前端和后端,不同的人感受完全不一样。从性别上来说,妹子更适合前端,汉子可能会更偏爱后端,但影响不是特别大,其中一个原因就在于是,后端做的事情,看不见,摸不着,需要有比较强的抽象思维能力。那什么是抽像思维能力呢?如果你会下象棋的话,我马二进四,你炮八进三,我马四退五,你象三进五,能不能在脑袋里想象出来是什么样子?如果不会下象期的话,…

  • windows软连接简单建立删除「建议收藏」

    软连接基本命令:建立(mklink),删除(rmdir);基本场景:1将电脑F盘下目录bpe\source下文件aa.txt和文件夹bb通过软连接连接至目录bpe\dest下1.1命令语句:mklink/JF:\bpe\dest\aa.txt       F:\bpe\icc\source\aa.txtmklink/JF:\bpe\dest\bb …

  • 简述面向对象思想_简述面向对象程序设计的特点

    简述面向对象思想_简述面向对象程序设计的特点简述Java中的面向对象(OOP)思想Java是一种面向对象的语言,那么什么是面向对象(ObjectOrientedProgramming)?首先,什么是对象(Object)?Java中有一种

  • 怎么关闭eslint

    怎么关闭eslint新建一个vue.config.js文件在这个文件中写module.exports导出一个对象lintOnSave:false关闭eslint

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号