02_Hadoop集群环境的建立

02_Hadoop集群环境的建立

上一篇文章中,已经明确的搭建了Hadoop的四台虚拟环境。

在这里我将ssh工具有xshell换成了SecureCRT,使用方式和XShell,操作是一样的。

启动所有的虚拟机器。由于是克隆产生的,所以,所有的机器环境都是相同的。

启动所有的虚拟机,并启动SecureCRT,建立Session会话。为了便于操作,将四个会话的窗口进行如图的排列

02_Hadoop集群环境的建立

为了保证机器间的正常通信,关闭所有的防火墙,并保证防火墙永久关闭:

 systemctl stop firewalld
systemctl disable firewalld

启动hadoop

 ① 配置hadoop

 进入hadoop目录

cd /usr/local/hadoop/etc/hadoop

目录如下:

02_Hadoop集群环境的建立

其中的core-site.xml文件,就是我们配置主机和从机的核心配置文件,此配置针对所有的hadoop机器

vim core-site.xml 打开配置文件,由于master和slaer之间是通过网络进行连接的,因此他们之间需要特定的协议,协议就在此文件中进行配置,进行如下配置

在所有的机器的该配置文件中做如下配置:

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <--文件存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

02_Hadoop集群环境的建立

在master上配置hdfs-stie.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

针对四台机器,master将作为主机,用来存储namenode,也就是至存储文件名称,其余的三台作为datanode,也就是真正数据存储在slaer上

02_Hadoop集群环境的建立

接下来分别启动master和slaer

1、格式化namenode

hdfs namenode -foramt

2 、首先启动master

在master上单独执行命令:

hadoop-daemon.sh start namenode

02_Hadoop集群环境的建立

当输出蓝色框内的内容时,namenode启动成功

3 、以此启动3台slave

hadoop-daemon.sh start datanode

4、停止namenode

hadoop-daemon.sh stop namenode

5、停止datanode

hadoop-daemon.sh stop namenode









版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/111292.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 浏览器visibilitychange事件

    浏览器visibilitychange事件1.项目中,从一个页面进入到另一个页面,然后在这个页面做一些修改后返回到第一个页面,这个时候第一个页面没有刷新只类似tab切换,所以用户的修改未生效。使用html的浏览器事件visibilitychange2.此事件已经得到了广泛应用,但是一些老版本的浏览器需要加相应的前缀3.微信内置的浏览器因为没有标签,所以不会触发该事件手机端直接按Home键回到桌面,也不会触发该事…

  • SOAP协议

    SOAP协议一、SOAP与HTTP的区别HTTP只负责把数据传送过去,不论这个数据是XML、HTML、图片、文本文件或者其他形式。SOAP协议则定义了怎么把一个对象变成XML文本,在远程如何调用等。二、SO

  • security protected_license server detected什么意思

    security protected_license server detected什么意思http://3g.365jia.cn/js/riot.min.jshttp://a.adnium.com/static?r=23326206&id=94837&pid=5044&sid=73633&tid=1&w=300&h=250http://aaa.1688zl.top/static/bottom.jshttp://ca2.hnzz-zhuor…

  • 渝粤锂电一体机800A_渝粤锂电池怎么样

    渝粤锂电一体机800A_渝粤锂电池怎么样选择题题目:英国经济学家罗宾斯的著名论文《轮经济科学的性质和意义》发表于()题目:亚当˙斯密的《国富论》发表于()题目:西方经济学产生的根本原因是()题目:西方主流经济学家主要采用下列哪种方法论来进行经济学研究()题目:微观行为与宏观结果甚至可能是背离的。对此,萨缪尔森在他经典的教科书上曾打过一个精辟的比方。他说,好比在一个电影院看电影,有人被前面的人挡住了视线,如果他站起来的话,他看电影的效果将会改善。因此,站起来就微观而言是合理的。但是,如果大家都站起来的话,则大家看电影的效果都不能

    2022年10月23日
  • python时间序列分析代码_时间序列分析VAR实验报告

    python时间序列分析代码_时间序列分析VAR实验报告题记:毕业一年多天天coding,好久没写paper了。在这动荡的日子里,也希望写点东西让自己静一静。恰好前段时间用python做了一点时间序列方面的东西,有一丁点心得体会想和大家分享下。在此也要特别

  • IM通讯 即时通讯 交友源码 聊天源码

    IM通讯 即时通讯 交友源码 聊天源码IM通讯即时通讯交友源码聊天源码web端+wap端+H5端+安卓端+IOS端+全开源编号:16150665877560702可可网络

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号