storm单机版部署

storm单机版部署

storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop
而之前部署的hbase、hive、spark等都或多或少的依赖hadoop
这里简单记录一下storm的部署过程
需要下载包:

zeromq:http://download.zeromq.org/
jzmq:http://mvnrepository.com/artifact/org.zeromq/jzmq
storm:http://storm.apache.org/downloads.html
zookeeper:http://zookeeper.apache.org/releases.html#download

然后现部署zeromq, 再部署jzmq
下载的都是源码,部署的时候直接./configure && make && make install即可

部署好之后还需要部署zookeeper
这里要下载好二进制文件

解压zookeeper,然后修改conf文件中的zoo.cfg
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
由于是单机版的,就只添加了这几个参数,其中目录需要自己先创建
 
启动zookeeper: bin/zkServer.sh start
测试: bin/zkCli.sh -server 127.0.0.1:2181

最后安装storm:

首先把storm解压
然后主要是把配置文件写好,这里需要注意的就是storm的配置文件是yaml格式,所以语法一定要注意
主要配置以下几项:
storm.zookeeper.servers:
  -"2.2.2.2"  #配置zookeeper server

nimbus.host: "2.2.2.2" #相当于master服务地址

storm.local.dir: "/home/stormdata" #存储目录
ui.port: 18080  #ui的启动端口
supervisor.slots.ports: # supervisor相当于hadoop的datanode, 配置几个端口就会启动几个进程运行任务
  -6700
  -6701
  -6702
  -6703
storm.zookeeper.port: 4190  # 如果zookeeper使用的不是默认端口的话,就在这里配置

都配置好之后,就可以启动测试了,一般yaml配置文件写正确的话就没什么问题

storm nimbus 
storm supervisor
storm ui
启动后可查看页面看是否启动成功:http://2.2.2.2:18080

后面再写一下storm的一些测试例子

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/109197.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 什么是docx,pptx等的正确MIME类型?[通俗易懂]

    什么是docx,pptx等的正确MIME类型?

  • 数据库常见查询语句_数据库检索语句

    数据库常见查询语句_数据库检索语句常用数据库查询语句基本查询select字段1,字段2,…from表名;例如:selectid,namefromstu;条件查询select字段1,字段2,…from表名where字段关系符号值;关系符号<=>=<=!=大于等于大于等于小于等于不等于例如:select*fromstuid>2;andorin(范围内满足in内部条件)

  • 写出Oracle分页语句,Oracle分页语句

    写出Oracle分页语句,Oracle分页语句select*from(selectA.*,rownumrdfrom(select*from[tablename]where[condition]orderby[condition])Awhererownum<=[endpage*pagesize])whererd>=[startpage*pagesize];1.select*from…

  • js array 数组添加与删除数据

    js array 数组添加与删除数据//新建数组varids=newArray();//向数组中添加数据ids.push(1);//删除下标为i的数组元素ids.remove(i);//自定义删除函数:Array.prototype.remove=function(dx){if(isNaN(dx)||dx>this.length){returnfalse;}…

  • openssl安装与使用

    文章目录1、OpenSSL简介2、OpenSSL安装3、加密技术介绍4、openssl命令4.1摘要命令4.2、对称加密命令4.3非对称加密命令4.3.1生成私钥4.3.2提取公钥4.3.3利用公私钥加密、解密数据4.3.4数字签名4.3.5数字证书1、OpenSSL简介OpenSSL是一个SSL协议的开源实现,采用C语言作为开发语言,具备了跨平台的能力,支持Unix/Linux、Windows、MacOS等多种平台。  OpenSSL最早的版本在1995年发布,1998年后开始由OpenS

  • kafka 集群搭建步骤

    kafka 集群搭建步骤  kafka集群的运行建立在zookeeper基础上,kafka中的消息偏移量信息、kafka集群信息、topic等信息会被存储在zookeeper中。高版本的kafka自带了zookeeper,本文使用独立的zookeeper集群部署kafka集群。前期准备见《Linux环境下,搭建ZooKeeper集群》。一、下载kafka  kafka官网:http://kafka.apache.org/http://kafka.apache.org/downloa

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号