Hadoop集群搭建教程(详细)「建议收藏」

Hadoop集群搭建教程(详细)「建议收藏」需要的安装包:  1.jdk压缩包  2.hadoop压缩包请前往我的github上下载相关安装包开始搭建hadoop集群一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的因为默认的虚拟机主机名都是ubuntu,所以为了便于虚拟机的识别,创建完成虚拟机后我们对虚拟机名进行修改,我们把用于主节点的虚拟机名称设为master(按自己的喜好创建),把用于从节点的虚拟机名称…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

需要的安装包:

    1.jdk压缩包

    2.hadoop压缩包

请前往百度云上上下载相关安装包(密码:8op1)


开始搭建hadoop集群

一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙

        1.因为默认的虚拟机主机名都是ubuntu,所以为了便于虚拟机的识别,创建完成虚拟机后我们对虚拟机名进行修改,我们把用于主节点的虚拟机名称设为master(按自己的喜好创建),把用于从节点的虚拟机名称设为slave1

  • 修改主机名的命令:sudo gedit /etc/hostname

Hadoop集群搭建教程(详细)「建议收藏」

  • 把原主机名ubuntu改为master(在从主机上则改为slave1)

        2.为了虚拟机之间能ping通,需要修改虚拟机的ip地址(这里以在master机器操作为例子,从节点的虚拟机也要进行一致的操作)

    命令:sudo gedit /etc/hosts

Hadoop集群搭建教程(详细)「建议收藏」

把/etc/hosts中yangcx-virtual-machine修改为刚刚改过的主机名master,同时将前面的ip地址改为实际的ip地址

Hadoop集群搭建教程(详细)「建议收藏」

怎么知道自己虚拟机的ip地址?

命令:ifconfig -a

Hadoop集群搭建教程(详细)「建议收藏」

Hadoop集群搭建教程(详细)「建议收藏」

上图红框标记的就是虚拟机的真实ip地址,因此我们把/etc/hosts中的内容修改为:

Hadoop集群搭建教程(详细)「建议收藏」

slave1的ip地址就是从虚拟机slave1的真实ip地址。同样,我们在slave1虚拟机上也要进行这一步操作。

        3.关闭虚拟机的防火墙

            一般来说,ubuntu默认都是安装防火墙软件ufw的,使用命令 sudo ufw version,如果出现ufw的版本信息,则说明已有ufw

            使用命令 sudo ufw status查看防火墙开启状态:如果是active则说明开启,如果是inactive则说明关闭

            开启/关闭防火墙 (默认设置是’disable’)

            sudo ufw enable|disable

             我们使用sudo ufw disble来关闭防火墙,并再次用sudo ufw status  查看防火墙是否关闭


二.安装jdk(所有虚拟机都要安装配置)

将jdk的压缩文件拖进master和slave1虚拟机中,压缩(右键文件,extract here),或者用命令行

tar -zxvf  jdk1.8.0_161.tar.gz(使用自己的压缩文件名)

   配置环境jdk环境:

    命令:sudo gedit /etc/profile

Hadoop集群搭建教程(详细)「建议收藏」

将jdk的路径添加到文件后面(根据自己的文件路径来,我这里jdk1.8.0_161文件夹的路径是/home/hadoop/java)

export JAVA_HOME=/home/hadoop/java/jdk1.8.0_161
export JRE_HOME=/home/hadoop/java/jdk1.8.0_161/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

Hadoop集群搭建教程(详细)「建议收藏」

保存退出,为了使配置立即生效,键入命令:source /etc/profile,或者重启虚拟机,命令:shutdown -r now

检查路径jdk是否安装成功,键入命令:java -version

如果出现了版本信息,则恭喜配置成功;

三.安装SSH服务

 1.首先确保虚拟机能连上网

 2.更新源列表:sudo apt-get update

Hadoop集群搭建教程(详细)「建议收藏」

3.安装ssh:输入”sudo apt-get install openssh-server”–>回车–>输入”y”–>回车–>安装完成。

 4.查看ssh服务是否启动

打开”终端窗口”,输入”sudo ps -e |grep ssh”–>回车–>有sshd,说明ssh服务已经启动,如果没有启动,输入”sudo service ssh start”–>回车–>ssh服务就会启动。
Hadoop集群搭建教程(详细)「建议收藏」


四、建立ssh无密码登录本机

 ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。

1、创建ssh-key,,这里我们采用rsa方式

  1. sshkeygen t rsa “”   //(P是要大写的,后面跟””)

Hadoop集群搭建教程(详细)「建议收藏」

 
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)

2、进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的

  1. cd ~/.ssh

Hadoop集群搭建教程(详细)「建议收藏」

 

  1. cat id_rsa.pub >> authorized_keys

 

Hadoop集群搭建教程(详细)「建议收藏」

 
完成后就可以无密码登录本机了。

 

3、登录localhost

  1.  ssh localhost

Hadoop集群搭建教程(详细)「建议收藏」

 

( 注:当ssh远程登录到其它机器后,现在你控制的是远程的机器,需要执行退出命令才能重新控制本地主机。)

4、执行退出命令

  1. exit​

Hadoop集群搭建教程(详细)「建议收藏」

 1~4步在master和slave1两台虚拟机上都是配置

 5.配置master无密码登陆slave1

    

mater主机中输入命令复制一份公钥到home中

cp .ssh/id_rsa.pub ~/id_rsa_master.pub

Jetbrains全家桶1年46,售后保障稳定

  • 1

把master的home目录下的id_rsa_master.pub拷到slave1的home下(我的做法是先拖到windows桌面上,在拖进slave1虚拟机中)

slave1的home目录下分别输入命令

cat id_rsa_master.pub >> .ssh/authorized_keys
  • 1

至此实现了mater对slave1的无密码登陆

以下的步骤只在master上进行(除了hadoop的环境变量

配置在slave1上也要进行)

五.安装hadoop

1.将hadoop压缩包拖进master虚拟机中,解压(我这里解压的路径是/home/hadoop/hadoop-2.7.3)

2.在hadoop-2.7.3文件夹里面先创建4个文件夹:

  •     hadoop-2.7.3/hdfs
  •     hadoop-2.7.3/hdfs/tmp
  •     hadoop-2.7.3/hdfs/name
  •     hadoop-2.7.3/hdfs/data

3.配置 hadoop的配置文件

先进入配置文件的路径:cd /home/hadoop/hadoop-2.7.3/etc/hadoop(再次强调,使用自己的路径)

Hadoop集群搭建教程(详细)「建议收藏」

输入:ls

查看该路径下的文件列表

Hadoop集群搭建教程(详细)「建议收藏」

被红框框住的文件是我们要进程配置的文件

    1.首先配置core-site.xml文件

sudo gedit core-site.xml

    在<configuration></configuration>中加入以下代码:

<property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/hadoop-2.7.3/hdfs/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property>

注意:第一个属性中的value和我们之前创建的/hadoop-2.7.3/hdfs/tmp路径要一致。

    2.配置 hadoop-env.sh文件

sudo gedit hadoop-env.sh

   将JAVA_HOME文件配置为本机JAVA_HOME路径

Hadoop集群搭建教程(详细)「建议收藏」

  3.配置 yarn-env.sh

sudo gedit yarn-env.sh

 将其中的JAVA_HOME修改为本机JAVA_HOME路径(先把这一行的#去掉)

Hadoop集群搭建教程(详细)「建议收藏」

 4.配置hdfs-site.xml

sudo gedit hdfs-site.xml

在<configuration></configuration>中加入以下代码

<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hadoop-2.7.3/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/hadoop-2.7.3/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>

注意(其中第二个dfs.namenode.name.dir和dfs.datanode.data.dir的value和之前创建的/hdfs/name和/hdfs/data路径一致;因为这里只有一个从主机slave1,所以dfs.replication设置为1)

5 .复制mapred-site.xml.template文件,并命名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

   配置 mapred-site.xml,在标签<configuration>中添加以下代码

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

6.配置yarn-site.xml

sudo gedit yarn-site.xml

 在<configuration>标签中添加以下代码

<property>  <name>yarn.resourcemanager.address</name>    <value>master:18040</value>  </property>  <property>    <name>yarn.resourcemanager.scheduler.address</name>    <value>master:18030</value>  </property>  <property>    <name>yarn.resourcemanager.webapp.address</name>    <value>master:18088</value>  </property>  <property>    <name>yarn.resourcemanager.resource-tracker.address</name>    <value>master:18025</value>  </property>  <property>    <name>yarn.resourcemanager.admin.address</name>    <value>master:18141</value>  </property>  <property>     <name>yarn.nodemanager.aux-services</name>     <value>mapreduce_shuffle</value>  </property>  <property>      <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>      <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property> 

7.配置slaves 文件

sudo gedit slaves

    把原本的localhost删掉,改为slave1

8.配置hadoop的环境,就像配置jdk一样

sudo gedit /etc/profile

根据hadoop文件夹的路径配置,以我的路径/home/hadoop/hadoop-2.7.3 为例

export HADOOP_HOME=/home/hadoop/hadoop-2.7.3 export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH" export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

键入命令 source /etc/profile 使配置立即生效

9.接下来,将hadoop传到slave1虚拟机上面去

scp -r hadoop-2.7.1 hadoop@slave1:~/ 

注意:hadoop是虚拟机的用户名,创建slave1时设定的

传过去后,在slave1上面同样对hadoop进行路径配置,和第8步一样

9.初始化hadoop

hdfs name -format

10.开启hadoop

  两种方法:

  • start-all.sh
  • 先start-dfs.sh,再start-yarn.sh

如果在mater上面键入jps后看到

Hadoop集群搭建教程(详细)「建议收藏」

在slave1上键入jps后看到

Hadoop集群搭建教程(详细)「建议收藏」

则说明集群搭建成功

六:最后用自带的样例测试hadoop集群能不能正常跑任务

使用命令

hadoop   jar   /home/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  pi 10 10

用来求圆周率,pi是类名,第一个10表示Map次数,第二个10表示随机生成点的次数(与计算原理有关)

最后出现结果

Hadoop集群搭建教程(详细)「建议收藏」

则,恭喜你,hadoop集群搭建完成

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/206750.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • fastclick干什么用的_fast对旅游的作用

    fastclick干什么用的_fast对旅游的作用fastclick是具有消除移动端浏览器上的点击事件的300ms的延迟的作用。注意几点1、PC端无效2、Android上的Chrome32+浏览器,如果在 viewpor

  • docker restart=always_MySQL having

    docker restart=always_MySQL having在面试中关于多线程同步,你必须要思考的问题一文中,我们知道glibc的pthread_cond_timedwait底层是用linuxfutex机制实现的。理想的同步机制应该是没有锁冲突时在用户态利用原子指令就解决问题,而需要挂起等待时再使用内核提供的系统调用进行睡眠与唤醒。换句话说,在用户态的自旋失败时,能不能让进程挂起,由持有锁的线程释放锁时将其唤醒?如果你没有较深入地考虑过这个问题,很可能…

  • 常用EXCEL宏FUNCTION 2020.11.20「建议收藏」

    常用EXCEL宏FUNCTION 2020.11.20「建议收藏」Functionwalkthrough(path)’遍历文件(文件夹路径)Dimxlsxls=Dir(path&”\*.xls”)’指定要遍历excel文件的路径及文件类型DoWhilexls<>””Call**copythefile(xls)**’要执行的程序xls=Dir’下一个excel文件LoopSetxls=Nothing’释放变量内存

  • vs 注释快捷键_VS2010快捷键

    vs 注释快捷键_VS2010快捷键在VisualStudioIDE中使用快捷键注释代码,无论是行注释还是块注释,第一步一定是选中要注释的内容(取消注释同样要先选中)!当然,如果是行注释,不必选取整行,将光标定位到该行即可!下面整理一下VisualStudioIDE中行注释和块注释的快捷键,以及快捷键的查看与修改。行注释行注释有以下两种方式!方式一:注释:Ctrl+K,Ctrl+C取消:Ctrl+K,Ctrl+U方式二:注释和取消都是这组快捷键:Ctrl+K,Ct…

  • input file读取文件

    input file读取文件js读取inputfile文件的两种方式:&lt;divid="localImag"&gt;&lt;imgid="preview"src=""width="150"height="180"style="display:block;width:150px;height:180px;"&gt;&lt;

  • python 处理数据归一化

    python 处理数据归一化数据规范化为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化(归一化)处理,将数据按照比例进行缩放,使之落入一个特定的区域,便于进行综合分析。数据规范化方法主要有:-最小-最大规范化-零-均值规范化数据示例代码实现#-*-coding:utf-8-*-#数据规范化importpandasaspdimportnumpyasnpdat…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号