hdfs常用操作命令

hdfs常用操作命令hdfs常用操作命令

大家好,又见面了,我是你们的朋友全栈君。

  先说一下”hadoop fs 和hadoop dfs的区别”,看两本Hadoop书上各有用到,但效果一样,求证与网络发现下面一解释比较中肯。

  粗略的讲,fs是个比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs就不能用。

5.1 文件操作

  1)列出HDFS文件

  此处为你展示如何通过”-ls”命令列出HDFS下的文件:

hadoop fs -ls

  执行结果如图5-1-1所示。在这里需要注意:在HDFS中未带参数的”-ls”命名没有返回任何值,它默认返回HDFS的”home“目录下的内容。在HDFS中,当前目录这样一个概念,也cd这个命令。

  hdfs常用操作命令

图5-1-1 列出HDFS文件

  2)列出HDFS目录下某个文档中的文件

  此处为你展示如何通过”-ls 文件名”命令浏览HDFS下名为”input”的文档中文件:

hadoop fs –ls input

  执行结果如图5-1-2所示。

  hdfs常用操作命令

图5-1-2 列出HDFS下名为input的文档下的文件

  3)上传文件到HDFS

  此处为你展示如何通过”-put 文件1 文件2″命令将”Master.Hadoop“机器下的”/home/hadoop“目录下的file文件上传到HDFS上并重命名test

hadoop fs –put ~/file test

  执行结果如图5-1-3所示。在执行”-put”时两种可能,即是执行成功执行失败。在上传文件时,文件首先复制到DataNode上。只有所有的DataNode都成功接收完数据,文件上传才是成功的。其他情况(如文件上传终端等)对HDFS来说都是做了无用功。

  hdfs常用操作命令

图5-1-3 成功上传file到HDFS

  4)将HDFS中文件复制本地系统

  此处为你展示如何通过”-get 文件1 文件2″命令将HDFS中的”output”文件复制到本地系统并命名为”getout”。

hadoop fs –get output getout

  执行结果如图5-1-4所示。

  hdfs常用操作命令

图5-1-4 成功将HDFS中output文件复制到本地系统

  备注:与”-put”命令一样,”-get”操作既可以操作文件,也可以操作目录

  5)删除HDFS下的文档

  此处为你展示如何通过”-rmr 文件”命令删除HDFS下名为”newoutput”的文档:

hadoop fs –rmr newoutput

  执行结果如图5-1-5所示。

  hdfs常用操作命令

图5-1-5 成功删除HDFS下的newoutput文档

  6)查看HDFS下某个文件

  此处为你展示如何通过”-cat 文件”命令查看HDFS下input文件中内容:

hadoop fs -cat input/*

  执行结果如图5-1-6所示。

  hdfs常用操作命令

图5-1-6 HDFS下input文件的内容

  ”hadoop fs”的命令远不止这些,本小节介绍的命令已可以在HDFS上完成大多数常规操作。对于其他操作,可以通过”-help commandName”命令所列出的清单来进一步学习与探索。

5.2 管理与更新

  1)报告HDFS的基本统计情况

  此处为你展示通过”-report”命令如何查看HDFS的基本统计信息:

hadoop dfsadmin -report

  执行结果如图5-2-1所示。

  hdfs常用操作命令

图5-2-1 HDFS基本统计信息

  2)退出安全模式

  NameNode在启动时自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性,同时根据策略对数据块进行必要的复制删除,当数据块最小百分比数满足的最小副本数条件时,会自动退出安全模式。

  系统显示”Name node is in safe mode”,说明系统正处于安全模式,这时只需要等待17秒即可,也可以通过下面的命令退出安全模式:

hadoop dfsadmin –safemode enter

  成功退出安全模式结果如图5-2-2所示。

  hdfs常用操作命令

图5-2-2 成功退出安全模式

  3)进入安全模式

  在必要情况下,可以通过以下命令把HDFS置于安全模式:

hadoop dfsadmin –safemode enter

  执行结果如图5-2-3所示。

  hdfs常用操作命令

图5-2-3 进入HDFS安全模式

  4)添加节点

  可扩展性是HDFS的一个重要特性,向HDFS集群中添加节点是很容易实现的。添加一个新的DataNode节点,首先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改”/usr/hadoop/conf/master“文件,加入NameNode主机名。然后在NameNode节点上修改”/usr/hadoop/conf/slaves“文件,加入新节点主机名,再建立到新加点无密码的SSH连接,运行启动命令:

start-all.sh

  5)负载均衡

  HDFS的数据在各个DataNode中的分布肯能很不均匀,尤其是在DataNode节点出现故障新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布的不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:

start-balancer.sh

  执行命令前,DataNode节点上数据分布情况如图5-2-4所示。

  hdfs常用操作命令

  负载均衡完毕后,DataNode节点上数据的分布情况如图5-2-5所示。

  hdfs常用操作命令

  执行负载均衡命令如图5-2-6所示。

  hdfs常用操作命令

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/106121.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Lambda架构简介

    Lambda架构简介参考文章:深入理解大数据架构之——Lambda架构传统系统的问题“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间,不仅仅是技术的变革,更是思想意识的变革,IT主要是为自我服务,用来更好地自我控制和管理,DT则是激活生产力,让别人活得比你好”——阿里巴巴董事局主席马云。数据量从M的级别到G的级别到现在T的级、P的级别。数据量的变化数据管理系统(DBMS)和数仓系统(DW)也在悄然的变化着。传统应用的数据系统架构设计时,应用直接访问数据库系统。当用户访问量增加时,数据库无法支撑

  • QXDM 安装[通俗易懂]

    QXDM 安装[通俗易懂]http://download.microsoft.com/download/5/6/7/567758a3-759e-473e-bf8f-52154438565a/dotnetfx.exe

  • Linux之traceroute命令[通俗易懂]

    Linux之traceroute命令[通俗易懂]显示数据包到主机间的路径,traceroute命令用于追踪数据包在网络上的传输时的全部路径,它默认发送的数据包大小是40字节。通过traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径。当然每次数据包由某一同样的出发点(source)到达某一同样的目的地(destination)走的路径可能会不一样,但基本上来说大部分时候所走的路由是相同的。traceroute通过发送小的数据包到目的设备直到其返回,来测量其需要多长时间。一条路径上的每个设备traceroute要测.

  • 深入db4o

    深入db4o这是RickGrehan发表在TheServerSide上的一篇关于面向对象数据库–db4o的文章,较全面地介绍了db4o的关键特性,希望对大家认识db4o能有所帮助。(2007.12.07最后更新)   db4o-针对对象的数据库-是一个完全的对象数据库;它以使对象在其生命周期中-无论是在数据库内或是在外-都保持着它们的本性这样一种方式操纵对象。不论类的复杂性如何,对象的内容,结构

  • iOS开发中touchesBegan和touchesEn…「建议收藏」

    iOS开发中touchesBegan和touchesEn…「建议收藏」touchesBegan跟touchedEnd沒有提供給UIScrollViewDelegate所以要自己建立一個繼承自UIScrollView的class重寫這兩個methodmyScrollView.h@interface myScrollView : UIScrollView @end myScrollView.m-(void) touchesBegan:(NSS

  • docker_docker一键部署

    docker_docker一键部署1、安装mysql自行安装2、安装Gogs自行安装3、安装drone/dronedockerrun-d\–volume=/var/lib/drone:/data\–env=DRONE_DEBUG=true\–env=DRONE_LOGS_TRACE=true\–env=DRONE_LOGS_DEBUG=true\–env=DRONE_LOGS_PRETTY=true\–env=DRONE_AGENTS_ENABLED=true\–env=

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号