datanode启动不了(datanode启动不了)

安装Hadoop(伪分布式环境)namenode和datanode无法启动解决方案先附上我参考的安装教程链接10.1.88.4/index_1.php?url=http://www.msftconnecttest.com/redirect我在执行./start-all.sh之后发现,没有任何错误提示,输入jps得到如下结果:[hadoop@localhost…

大家好,又见面了,我是你们的朋友全栈君。

安装Hadoop(伪分布式环境)namenode和datanode无法启动解决方案

    先附上我参考的安装教程链接

10.1.88.4/index_1.php?url=http://www.msftconnecttest.com/redirect

    我在执行./start-all.sh之后发现,没有任何错误提示,输入jps得到如下结果:

[hadoop@localhost sbin]$ ./start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/software/hadoop_install/hadoop/logs/hadoop-hadoop-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /usr/software/hadoop_install/hadoop/logs/hadoop-hadoop-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/software/hadoop_install/hadoop/logs/hadoop-hadoop-secondarynamenode-localhost.localdomain.out
starting yarn daemons
resourcemanager running as process 21995. Stop it first.
localhost: nodemanager running as process 22133. Stop it first.
[hadoop@localhost sbin]$ jps
22133 NodeManager
23848 Jps
21995 ResourceManager

    明显没有datanode和namenode,上网找了很多方法都没用。

    按照网上的方法,我就查看文件夹data/tmp/data发现我根本没有这个目录。一脸懵逼。

    我只好查看$HADOOP_HOME/log里面的文件,查看有关于datanode和namenode的日志,

datanode启动不了(datanode启动不了)

 我先查看的是datanode的日志,

datanode启动不了(datanode启动不了)

 有点多,直接划到最后,(看我加粗字体)

2019-11-02 17:35:59,401 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT]
2019-11-02 17:36:00,195 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /usr/software/hadoop_install/hadoop/data/dfs/data : 
java.io.FileNotFoundException: File file:/usr/software/hadoop_install/hadoop/data/dfs/data does not exist
    at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:635)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:861)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:625)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:442)
    at org.apache.hadoop.util.DiskChecker.mkdirsWithExistsAndPermissionCheck(DiskChecker.java:233)
    at org.apache.hadoop.util.DiskChecker.checkDirInternal(DiskChecker.java:141)
    at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:116)
    at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2580)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2622)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2604)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2497)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2544)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2729)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2753)
2019-11-02 17:36:00,207 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.io.IOException: All directories in dfs.datanode.data.dir are invalid: “/usr/software/hadoop_install/hadoop/data/dfs/data” 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2631)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2604)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2497)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2544)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2729)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2753)
2019-11-02 17:36:00,208 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2019-11-02 17:36:00,216 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at localhost/127.0.0.1
************************************************************/
[hadoop@localhost logs]$ 
 

 

 

 我顿时恍然大悟,,肯定是权限不够,看不到data,我立马回到hadoop的安转目录下查看文件的权限情况

[hadoop@localhost hadoop]$ ls -l
总用量 128
drwxr-xr-x. 2 hadoop hadoop   194 11月  2 17:50 bin
drwxr-xr-x. 2 root   root       6 11月  2 16:58 data
drwxr-xr-x. 3 hadoop hadoop    20 11月  2 16:57 etc
drwxr-xr-x. 2 hadoop hadoop   106 9月  10 2018 include
drwxr-xr-x. 3 hadoop hadoop    20 9月  10 2018 lib
drwxr-xr-x. 2 hadoop hadoop   239 9月  10 2018 libexec
-rw-r–r–. 1 hadoop hadoop 99253 9月  10 2018 LICENSE.txt
drwxrwxr-x. 3 hadoop hadoop  4096 11月  2 17:36 logs
-rw-r–r–. 1 hadoop hadoop 15915 9月  10 2018 NOTICE.txt
-rw-r–r–. 1 hadoop hadoop  1366 9月  10 2018 README.txt
drwxr-xr-x. 2 hadoop hadoop  4096 9月  10 2018 sbin
drwxr-xr-x. 4 hadoop hadoop    31 9月  10 2018 share
drwxr-xr-x. 2 root   root      27 11月  2 16:23 test
 

 果然 ,根据红色字体能发现,data的权限所有者是root的,hadoop根本就不能操作,我就想肯定是一开始创建的时候滥用了root用户

到这里就很简单了,两行命令即可:

# 修改文件权限拥有者,hadoop是我的用户名,data是文件夹名字
sudo chown -R hadoop data         

# 修改文件权限组
sudo chgrp -R hadoop data

修改过后,查看一下修改结果,可以看到修改成功:

[hadoop@localhost hadoop]$ ls -l
总用量 128
drwxr-xr-x. 2 hadoop hadoop   194 11月  2 17:50 bin
drwxr-xr-x. 2 hadoop hadoop     6 11月  2 16:58 data
drwxr-xr-x. 3 hadoop hadoop    20 11月  2 16:57 etc
drwxr-xr-x. 2 hadoop hadoop   106 9月  10 2018 include
drwxr-xr-x. 3 hadoop hadoop    20 9月  10 2018 lib
drwxr-xr-x. 2 hadoop hadoop   239 9月  10 2018 libexec
-rw-r–r–. 1 hadoop hadoop 99253 9月  10 2018 LICENSE.txt
drwxrwxr-x. 3 hadoop hadoop  4096 11月  2 17:36 logs
-rw-r–r–. 1 hadoop hadoop 15915 9月  10 2018 NOTICE.txt
-rw-r–r–. 1 hadoop hadoop  1366 9月  10 2018 README.txt
drwxr-xr-x. 2 hadoop hadoop  4096 9月  10 2018 sbin
drwxr-xr-x. 4 hadoop hadoop    31 9月  10 2018 share
drwxr-xr-x. 2 root   root      27 11月  2 16:23 test
 

然后再回去停止刚才执行的所有node

[hadoop@localhost sbin]$ ./stop-all.sh 
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [localhost]
localhost: no namenode to stop
localhost: no datanode to stop
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: no secondarynamenode to stop
stopping yarn daemons
stopping resourcemanager
localhost: stopping nodemanager
localhost: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
no proxyserver to stop
 

最后就是启动所有node

 [hadoop@localhost sbin]$ ./start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/software/hadoop_install/hadoop/logs/hadoop-hadoop-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /usr/software/hadoop_install/hadoop/logs/hadoop-hadoop-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/software/hadoop_install/hadoop/logs/hadoop-hadoop-secondarynamenode-localhost.localdomain.out
starting yarn daemons
starting resourcemanager, logging to /usr/software/hadoop_install/hadoop/logs/yarn-hadoop-resourcemanager-localhost.localdomain.out
localhost: starting nodemanager, logging to /usr/software/hadoop_install/hadoop/logs/yarn-hadoop-nodemanager-localhost.localdomain.out

 输入jps命令查看启动情况:

[hadoop@localhost sbin]$ jps
36534 DataNode
36343 NameNode
37097 NodeManager
36762 SecondaryNameNode
36954 ResourceManager
37422 Jps

  可以看到所有的DataNode和NameNode都已经成功启动。

  激动万分,终于弄出来了,哈哈大家要是哪里对不上或者是有其他问题,可以留言问我,我最近装这个装了好几遍哈哈。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/129408.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(1)
blank

相关推荐

  • 高并发下的nginx性能优化实战

    高并发下的nginx性能优化实战

  • HDU 1080 DP

    HDU 1080 DP

  • ps修图教程新手入门:如何用Photoshop处理证件照「建议收藏」

    ps修图教程新手入门:如何用Photoshop处理证件照「建议收藏」今天小编给大家讲解如何用Photoshop处理证件照,证件照是大家生活中经常要用到的,相信很多同学碰到过需要给背景照换颜色的时候,却不知道如何更换背景颜色。我们平时照的证件照,一般都是红底,这时我们遇到要蓝底的时候怎么办呢?下面讲解ps修图教程新手入门如何用Photoshop处理证件照。下面,以一寸照片为例,讲解如何用Photoshop制作证件照。1、电脑操作2、ps软件:AdobePhotoshop2017(演示)一、ps改变尺寸1、打开证件照原件(图片小编从网上下载了一张,并打码

  • 说明电磁型继电器的工作原理_永磁继电器工作原理

    说明电磁型继电器的工作原理_永磁继电器工作原理原文地址点击这里:电磁继电器(electromagneticrelay)是一种电子控制器件,它具有控制系统(输入回路)和被控制系统(输出回路),通常应用于自动控制电路中,它是用较小的电流、较低的电

  • threadpoolmanager_threadlocal是线程安全的吗

    threadpoolmanager_threadlocal是线程安全的吗在WEB开发中,为了减少页面等待时间提高用户体验,我们往往会把一些浪费时间的操作放到新线程中在后台运行。简单的实现代码就是://代码一newThread(()=>{//dosomething}).Start();但是对于一个请求量大的网址这样做是很不现实的——每一个操作都要开启一个新线程,最终会因CPU不堪重负而使网站挂掉。更好的做法是使用线程队列。对于线程队列 ThreadPoo…

  • 织梦CMS系统中power by dedecms怎么去掉?power by dedecms什么意思?

    织梦CMS系统中power by dedecms怎么去掉?power by dedecms什么意思?织梦CMS近期的新版本至2013-6-7更新包以来,不管新版还是旧版更新补丁包,更新后网站页底都会出现powerbydedecms。powerbydedecms什么意思呢,那powerbydedecms怎么去掉呢,请大家看以下方法:一、powerbydedecms什么意思在我们上网的时候,会见到页面页底很多带powerbydedecms的网站,powerbyded…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号