大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全家桶1年46,售后保障稳定
Jstorm 环境搭建
有三种安装部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最简单、轻量、稳定比较常用,整体规模不超过300台,yarn模式外部依赖较重,规模至少30台,docker比较消耗性能。
standalon模式安装步骤
搭建外部依赖
搭建jstorm之前需要先搭建外部依赖
1. zookeeper
2. jdk 版本>=1.7
搭建Jstorm集群
新版本2.4.0
环境: hd-23/hd-24/hd-25
用户/密码:jstorm/*
1. 检查环境
– 检查机器ip是否返回正确的ip地址
$ hostname -i #查看返回的ip是否是本机ip,如果现实127.0.0.1,则修改/etc/hosts或网卡配置
- 检查jdk是否安装以及版本是否高于1.7
$ java -version
2. 解压安装包,配置JStorm_Home
unzip jstorm-2.4.0.zip
# 配置环境变量
$ vi ~/.bashrc
export JSTORM_HOME=/home/jstorm/jstorm-2.4.0
export PATH=$PATH:$JSTORM_HOME/bin
# 配置后编译文件.bashrc
$ source ~/source ~/.bashrc
# 查看是否编译成功
$ echo $JSTORM_HOME
3. 配置 storm.yaml
配置zookeeper相关的配置项
$ cd /home/jstorm/jstorm-2.4.0/conf/
$ vi storm.yaml
storm.zookeeper.servers:
- "hd-23"
- "hd-24"
- "hd-25"
storm.zookeeper.root: "/jstorm"
storm.local.dir: "/home/jstorm/jstorm-2.4.0/data"
jstorm.log.dir: "/home/jstorm/jstorm-2.4.0/logs"
java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/lib/jdk1.8.0_77/lib"
supervisor.slots.ports:
- 6800
- 6801
- 6802
- 6803
说明:supervisor中的端口不能被占用,有几个端口就有几个worker
==注意:
i.每一行配置开头必须有空格,否则报错
ii.zookeeper端口必须一致,默认2181
iii.不能写hostname只能写ip 否则报错==
4.在24.25服务器上重复上述操作。
==必须保证storm.local.dir: “/home/jstorm/jstorm-2.4.0/data”初次安装时文件夹是空的,否则会出现缓存情况,导致supervisor的值与实际值不符==
5.安装WEB UI
mkdir ~/.jstorm
cp -f /home/jstorm/jstorm-2.4.0/conf/storm.yaml ~/.jstorm
#编辑文件,在末尾添加一下配置,此处也可以不配置。
ui.clusters:
- {
# 集群名称
name: "holly-jstorm",
#Zk根目录,与上文中的storm.zookeeper.root一致即可
zkRoot: "/jstorm",
zkServers:
[ "hd-23","hd-24","hd-25"],
zkPort: 2181,
}
tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.4.0.war ./
mv ROOT ROOT.old
ln -s jstorm-ui-2.4.0 ROOT
../bin./startup.sh
6. 启动jstorm
# 在主节点服务器上执行以下命令
$ cd jstorm-2.4.0
$ nohup bin/jstorm nimbus &
# 查看是否启动成功
$ jps
4346 Bootstrap
4602 NimbusServer
4716 Jps
# 出现NimbusServer,说明主节点已启动
#也可以查看日志
$ tail -f logs/nimbus.log
# 去其他节点执行以下命令
$ cd cd jstorm-2.4.0
$ nohup bin/jstorm supervisor &
$ jps
24231 Supervisor
24297 Jps
# 出现Supervisor,说明启动成功
#也可以查看日志
$ tail -f logs/supervisor.log
7. 访问web ui 界面查看jtorm信息
==注意:如果页面上supervisor 的数量与实际启动的值不符,则需要将data中的文件清除,重启==
提交jar
提交jar命令
$ jstorm jar xxx.jar xxx.java params
# xxx.jar jar名称
# xxx.java 主类入口
# params 参数(配置文件名称)
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/234216.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...