Jstorm 环境搭建[通俗易懂]

Jstorm 环境搭建[通俗易懂]Jstorm环境搭建有三种安装部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最简单、轻量、稳定比较常用,整体规模不超过300台,yarn模式外部依赖较重,规模至少30台,docker比较消耗性能。standalon模式安装步骤搭建外部依赖搭建jstorm之前需要先搭建外部依赖1.zookeeper2.jdk

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

Jstorm 环境搭建

有三种安装部署方式:standalone模式、yarn模式、docker模式,其中standalone模式最简单、轻量、稳定比较常用,整体规模不超过300台,yarn模式外部依赖较重,规模至少30台,docker比较消耗性能。

standalon模式安装步骤

搭建外部依赖

搭建jstorm之前需要先搭建外部依赖
1. zookeeper
2. jdk 版本>=1.7

搭建Jstorm集群

新版本2.4.0
环境: hd-23/hd-24/hd-25
用户/密码:jstorm/*

1. 检查环境
– 检查机器ip是否返回正确的ip地址

$ hostname -i #查看返回的ip是否是本机ip,如果现实127.0.0.1,则修改/etc/hosts或网卡配置

Jetbrains全家桶1年46,售后保障稳定

  • 检查jdk是否安装以及版本是否高于1.7
$ java -version

2. 解压安装包,配置JStorm_Home

unzip jstorm-2.4.0.zip
# 配置环境变量
$ vi ~/.bashrc

export JSTORM_HOME=/home/jstorm/jstorm-2.4.0
export PATH=$PATH:$JSTORM_HOME/bin

# 配置后编译文件.bashrc
$ source ~/source ~/.bashrc

# 查看是否编译成功
$ echo $JSTORM_HOME

3. 配置 storm.yaml

配置zookeeper相关的配置项

$ cd /home/jstorm/jstorm-2.4.0/conf/
$ vi storm.yaml

 storm.zookeeper.servers:
     - "hd-23"
     - "hd-24"
     - "hd-25"

 storm.zookeeper.root: "/jstorm"
 storm.local.dir: "/home/jstorm/jstorm-2.4.0/data"
 jstorm.log.dir: "/home/jstorm/jstorm-2.4.0/logs"

java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/lib/jdk1.8.0_77/lib"
supervisor.slots.ports:
    - 6800
    - 6801
    - 6802
    - 6803

说明:supervisor中的端口不能被占用,有几个端口就有几个worker
==注意:
i.每一行配置开头必须有空格,否则报错
ii.zookeeper端口必须一致,默认2181
iii.不能写hostname只能写ip 否则报错==

4.在24.25服务器上重复上述操作。
==必须保证storm.local.dir: “/home/jstorm/jstorm-2.4.0/data”初次安装时文件夹是空的,否则会出现缓存情况,导致supervisor的值与实际值不符==

5.安装WEB UI

mkdir ~/.jstorm
cp -f /home/jstorm/jstorm-2.4.0/conf/storm.yaml ~/.jstorm

#编辑文件,在末尾添加一下配置,此处也可以不配置。
 ui.clusters:
     - {
     # 集群名称
         name: "holly-jstorm", 
         #Zk根目录,与上文中的storm.zookeeper.root一致即可
         zkRoot: "/jstorm",
         zkServers:
             [ "hd-23","hd-24","hd-25"],
         zkPort: 2181,
       }



tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.4.0.war ./

mv ROOT ROOT.old
ln -s jstorm-ui-2.4.0 ROOT
../bin./startup.sh

6. 启动jstorm

# 在主节点服务器上执行以下命令
$ cd jstorm-2.4.0
$ nohup bin/jstorm nimbus &
# 查看是否启动成功
$ jps
4346 Bootstrap
4602 NimbusServer
4716 Jps
# 出现NimbusServer,说明主节点已启动
#也可以查看日志
$ tail -f logs/nimbus.log


# 去其他节点执行以下命令

$ cd cd jstorm-2.4.0
$ nohup bin/jstorm supervisor &
$ jps
24231 Supervisor
24297 Jps

# 出现Supervisor,说明启动成功

#也可以查看日志
$ tail -f logs/supervisor.log

7. 访问web ui 界面查看jtorm信息

http://hd-23:8087/

==注意:如果页面上supervisor 的数量与实际启动的值不符,则需要将data中的文件清除,重启==

提交jar

提交jar命令

$ jstorm jar xxx.jar xxx.java params
# xxx.jar jar名称
# xxx.java 主类入口
# params 参数(配置文件名称)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/234216.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • solidworks导出urdf文件的步骤和踩过的坑「建议收藏」

    solidworks导出urdf文件的步骤和踩过的坑「建议收藏」平台:sw2020,sw2urdfV1.5sw2016在win10激活成功教程有些问题,选择2020版本sw2urdf下载地址和英文教程:sw_urdf_exporter-ROSWiki下载sw插件版本的一些注意:sw2urdf插件安装提示_Dcr_Hs的博客-CSDN博客_sw2urdf插件过程参考:SolidWorks模型导出urdf(古月居老师)_哔哩哔哩_bilibili注意:文件名,用户名,坐标系,坐标轴尽量用英文,导出urdf文件用小写英文,后边.sld什么的要删掉。导入

  • oycharm激活码_通用破解码

    oycharm激活码_通用破解码,https://javaforall.cn/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

  • 借助Unity AR Foundation构建跨平台AR应用

    借助Unity AR Foundation构建跨平台AR应用

  • Arduino教程 RFID-RC522读IC卡门禁原理及破解防御[通俗易懂]

    【文章特色:1、提出IC卡破解原理和简单有效的防御方法2、网上其他文章对于硬件如何接线说得模糊不清】1、序言2、加载RC522库文件3、模块引脚接线4、程序代码5、运行结果先说下简单门禁系统的原理:(1)IC卡激活:门禁卡管理员将卡片放到读卡器、这时软件读取到IC卡的UID序列号信息(相当于身份证号码),将这个UID录入数据库激活IC卡。(2)刷卡

  • python抓取抖音用户画像,摩羯天蝎居然刷得最多?「建议收藏」

    python抓取抖音用户画像,摩羯天蝎居然刷得最多?「建议收藏」日刷抖音三百条,悠悠一笑乐逍遥,夜深忽醒窗外事,不知今夕是何年。要从上个月说起,那天晚上准备睡觉了,然后朋友突然发来一个抖音热门视频。一向一本正经苟于工作的我,竟然沉醉于小姐姐的甜蜜的笑容,加之想到抖音好像周边的人都在玩,让我不由地也下了抖音,则立马陶醉于这抖音真对味,这世界真新鲜,这世上竟有如此光鲜亮丽的美女帅哥萌娃的感叹之中,简直没舍得合上眼。等我准备合眼的时候,看了时间,已经早上4点半…

  • python执行测试用例_平台测试用例

    python执行测试用例_平台测试用例前言通常我们认为每个测试用例都是相互独立的,因此需要保证测试结果不依赖于测试顺序,以不同的顺序运行测试用例,可以得到相同的结果。pytest默认运行用例的顺序是按模块和用例命名的ASCII编码

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号