大家好,又见面了,我是你们的朋友全栈君。
1. jdk安装
解压: tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
添加到系统环境变量 :~/.bash_profile
复制代码
export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
复制代码
使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…
2. 安装ssh
sudo yum/apt-get install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
复制代码
3. 下载并解压hadoop
下载:直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source
复制代码
配置
export JAVA_HOME=/working/source/jdk1.8.0_151 //配置java环境
复制代码
/etc/host
在 /etc/host 加上
127.0.0.1 bigdata-msenior01.kfk.com
复制代码
core-site.xml
先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>
<!--配置域名和端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-msenior01.kfk.com:8020</value>
</property>
<property>
<!--配置存储路径-->
<name>hadoop.tmp.dir</name>
<value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
</property>
</configuration>
复制代码
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
复制代码
slaves
5 启动hdfs
格式化文件系统(仅第一次执行即可,不要重复执行)hdfs(hadoop) namenode -format
启动:hdfs sbin/start-dfs.sh
复制代码
检查是否启动成功
jps
DataNode
SecondaryNameNode
NameNode
复制代码
浏览器方式方式 bigdata-msenior01.kfk.com:50070
6 停止hdfs
sbin/stop-dfs.sh
复制代码
Hadoop shell 的基本使用
hdfs dfs hdfs fs
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/107146.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...