Hadoop基础_hadoop教程

1、安装与配置

cd /opt

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

tar -zxvf hadoop-2.7.7.tar.gz

设置hadoop环境变量

export HADOOP_HOME=/opt//hadoop-2.7.7

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

可以找到位置“$HADOOP_HOME/etc/hadoop”下找到所有Hadoop配置文件。为了使用Java开发Hadoop程序，必须重新设置hadoop-env.sh文件的java环境变量。

可以通过echo $JAVA_HOME获取Java位置，然后在hadoop-env.sh中修改

以下是必须编辑配置Hadoop的文件列表。

core-site.xml

core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小。

打开core-site.xml 并在<configuration>，</configuration>标记之间添加以下属性。

<configuration> 
  <property> 
   <name>fs.default.name </name>
   <value> hdfs://localhost:9000 </value>
  </property> 

 <property>
  <name>hadoop.tmp.dir</name>
  <value>/hadoop</value>
 </property>

  <property>
  <name>dfs.name.dir</name>
  <value>/hadoop/name</value>
 </property>
</configuration>

hdfs-site.xml

hdfs-site.xml 文件中包含如复制数据的值，NameNode路径的信息，本地文件系统的数据节点的路径。这意味着是存储Hadoop基础工具的地方。

打开这个文件，并在这个文件中的<configuration></configuration>标签之间添加以下属性。

<configuration>

   <property>
      <name>dfs.data.dir</name> 
      <value>/home/hadoop/data</value> 
   </property>
       
</configuration>

注：在上面的文件，所有的属性值是用户定义的，可以根据自己的Hadoop基础架构进行更改。

yarn-site.xml

此文件用于配置成yarn在Hadoop中。打开 yarn-site.xml文件，并在文件中的<configuration></configuration>标签之间添加以下属性。

<configuration>
 
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value> 
   </property>
  
</configuration>

mapred-site.xml

此文件用于指定正在使用MapReduce框架。缺省情况下，包含Hadoop的模板yarn-site.xml。首先，它需要从mapred-site.xml复制。获得mapred-site.xml模板文件使用以下命令。

$ cp mapred-site.xml.template mapred-site.xml

打开mapred-site.xml文件，并在此文件中的<configuration></configuration>标签之间添加以下属性。

<configuration>
 
   <property> 
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
   
</configuration>