HDFS操作_config命令汇总

HDFS操作_config命令汇总文章目录01引言02HDFS安装03HDFS命令汇总3.1新增操作3.1.1创建文件夹(mkdir命令)3.1.2文件上传(put命令)3.1.3文件复制(cp命令)3.1.4移动文件(mv命令)3.1.5创建空文件(touchz命令)3.2删除操作3.2.1删除文件夹(rmdir命令)3.2.2删除文件(rm命令)3.2.3清空回收站(expunge命令)3.3查看操作3.3.1获取文件(get命令)3.3.2查看文件(ls、du、df、cat、tail命令)3.3.3

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

01 引言

在前面的教程,我们对HDFS有一个简单的认识了,有兴趣的同学可以参阅:

本文主要简介HDFS的安装与命令的汇总。

02 HDFS安装

因为HDFSHadoop的核心组件,所以安装了Hadoop就相当于把HDFS安装了,具体的安装方式可以参考之前写的博客《Mac下安装Hadoop》,因为本人使用的是mac系统,所以这里只有mac版的安装教程了,其实原理都差不多的。

03 HDFS命令汇总

3.1 新增操作

3.1.1 创建文件夹(mkdir命令)

# 创建一个abc目录
hdfs dfs -mkdir /user/zhang/abc

3.1.2 文件上传(put命令)

# 将client node中的NOTICE.txt文件 put 到hdfs的/user/zhang文件夹中
hdfs dfs -put NOTICE.txt /user/zhang

# 如果文件存在,可以使用-f参数进行覆盖
hdfs dfs -put -f NOTICE.txt /user/zhang

3.1.3 文件复制(cp命令)

copyFromLocal命令:

# 这个命令和put作用相同(如果存在`LCENSE.txt文件`,要进行覆盖,加上`-f`参数,和put命令一样)
hdfs dfs -copyFromLocal LICENSE.txt /user/zhang

copyToLocal 命令:

# 复制hdfs的/user/zhang/test/README.txt文件到client node当前目录
hdfs dfs -copyToLocal /user/zhang/test/README.txt
# 如果需要复制到指定目录
hdfs dfs -copyToLocal /user/zhang/test/README.txt /指定目录

cp 命令:

# 将/user/zhang/NOTICE.txt 复制到 /user/zhang/test目录
hdfs dfs -cp /user/zhang/NOTICE.txt /user/zhang/test

3.1.4 移动文件(mv命令)

hdfs dfs -mv   要移动的文件    目标文件夹目录

3.1.5 创建空文件(touchz命令)

创建一个0字节的空文件。
格式:

touchz <path>

示例:

hdfs dfs -touchz /user/dataflair/dir2

3.2 删除操作

3.2.1 删除文件夹(rmdir命令)

# 删除/user/zhang/demo目录
hdfs dfs rmdir /user/zhang/demo

3.2.2 删除文件(rm命令)

# 删除/user/zhang/NOTICE.txt文件
hdfs dfs -rm /user/zhang/NOTICE.txt

# 删除/user/zhang/abc目录
hdfs dfs -rm -r /user/zhang/abc

3.2.3 清空回收站(expunge命令)

hdfs dfs -expunge

3.3 查看操作

3.3.1 获取文件(get 命令)

# 获取hdfs中的/user/zhang/test/README.txt.gz文件,到client node当前目录
hdfs dfs -get /user/zhang/test/README.txt.gz

# 和copyToLocal命令一样

3.3.2 查看文件(ls、du、df、cat、tail 命令)

ls 命令:

# 查看hdfs根目录
hdfs dfs -ls /

# 查看hdfs其它目录(/user/zhang)
hdfs dfs -ls /user/zhang

du 命令:

hdfs dfs -du /user/zhang

# 将字节自动转化成单位
hdfs dfs -du -h /user/zhang

df 命令:

# 查看根目录磁盘空间
hdfs dfs -df /

cat 命令:

# 查看文件
hdfs dfs -cat /user/zhang/test/README.txt

tail 命令( 类似还有 head )

hdfs dfs -tail /user/zhang/test/README.txt

3.3.3 文件检查(test 命令)

用于文件检测操作,如果路径存在,返回 1,如果是目录返回 0。

格式:

hdfs dfs -test -[ezd] URI

选项:

-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录,则返回1,否则返回0。

示例:

hdfs dfs -test -e sample
hdfs dfs -test -z sample
hdfs dfs -test -d sample

3.3.4 text文件(text 命令)

将源文件输出为文本格式。允许的格式是 zipTextRecordInputStream
格式:

hdfs dfs -text <source>

示例:

hdfs dfs -text /user/dataflair/dir1/sample

3.3.5 路径信息统计(stat 命令)

返回指定路径统计信息。
格式:

hdfs dfs -stat path

示例:

hdfs dfs -stat /user/dataflair/dir1

3.3.6 文件校验(checksum 命令)

返回文件的校验和信息。

格式:

hadoop fs -checksum URI

示例:

hadoop fs -checksum /user/dataflair/dir1/sample

3.3.7 统计节点(count 命令)

统计一个指定目录下的文件结点数量。
格式:

hdfs dfs -count [-q] <paths>

示例:

$ hadoop fs -count /testelephant
      2      1    108     testelephant
  • 第一个数值 2 表示 /testelephant 下的文件夹的个数,
  • 第二个数值 1 表是当前文件夹下文件的个数,
  • 第三个数值 108 表示该文件夹下文件所占的空间大小,这个大小是不计算副本的个数的,单位是字节(byte)。
$ hadoop fs -count -q /sunwg
     1024     1021    10240    10132     2      1    108    /testelephant

在 count 后面增加 -q 选项可以查看当前文件夹的限额使用情况。

  • 第一个数值 1024 ,表示总的文件包括文件夹的限额。
  • 第二个数值 1021 ,表示目前剩余的文件限额,即还可以创建这么多的文件或文件夹。
  • 第三个数值 10240 ,表示当前文件夹空间的限额。
  • 第四个数值 10132 ,表示当前文件夹可用空间的大小,这个限额是会计算多个副本的。
  • 剩下的三个数值与 -count 的结果一样。

3.3.8 匹配指令(find 命令)

找出能匹配上的所有文件。

-name pattern不区分大小写,对大小写不敏感。
-iname pattern对大小写敏感。
-print打印。
-print0打印在一行。

格式:

hadoop fs -find <path> ... <expression> ...

示例:

hadoop fs -find /user/dataflair/dir1/ -name sample -print

3.4 修改操作

3.4.1 修改拥有者(chown)

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

格式:

hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

示例:

hdfs dfs -chown -R dataflair /opt/hadoop/logs

3.4.2 修改所属组(chgrp)

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

格式:

hdfs dfs -chgrp [-R] <NewGroupName> <file or directory name>

示例:

hdfs dfs -chgrp [-R] New Group sample

3.4.3 修改文件权限(chown)

改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

格式:

chmod [-R] mode,mode,... <path>...

示例:

hdfs dfs -chmod 777 /user/dataflair/dir1/sample

3.4.4 修改文件副本系数(setrep)

改变一个文件的副本系数,-R 选项用于递归改变目录下所有文件的副本系数。
格式:

setrep [-R] [-w] rep <path>

示例:

hdfs dfs -setrep -w 3 /user/dataflair/dir1

3.4.5 文件追加(appendToFile)

追加一个文件到已经存在的文件末尾

格式:

hadoop fs -appendToFile <localsource> ... <dst>

示例:

hadoop fs -appendToFile /home/dataflair/Desktop/sample /user/dataflair/dir1

05 文末

本文主要讲解的是HDFS的命令,欢迎大家的阅读,本文完!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/186014.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 如何在 Kubernetes 中对无状态应用进行分批发布

    如何在 Kubernetes 中对无状态应用进行分批发布

  • 阿里云URL转发类问题排查[通俗易懂]

    阿里云URL转发类问题排查[通俗易懂]概念URL转发包含URL隐性转发和URL显性转发,主要是指将一个域名指向另外一个已经存在的站点时,可以通过URL转发实现。隐性URL转发是用的是iframe框架技术,显性URL转发采用的是301(也称之为永久性转移)或302重定向技术(也称之为暂时性转移)。301和302说明301redirect:301代表永久性转移(PermanentlyMoved)302redirect:302代表暂时性转移(TemporarilyMoved)共同点:301和302状态码都表示重定向,当浏览

    2022年10月19日
  • Vue+Element UI 商城后台管理系统[通俗易懂]

    Vue+Element UI 商城后台管理系统[通俗易懂]Vue+ElementUI商城后台管理系统一、前言1.项目背景此项目来自B站Vue实战项目:电商管理系统(Element-UI)。此项目的功能与后端提供的接口并不完全相同,根据后端接口进行开发并添加了部分功能从而进行修改。在完成此项目并测试上线后,在这里记录一下项目的开发思路,以及遇到的一些问题。自我感觉这个项目是一个很不错的关于Vue+ElementUI的练手项目2.部分效果图展示先放一些效果图项目上线地址:https://aerowang.cn/vue_shop

  • 机器学习—最大熵模型(MEM)小结

    机器学习—最大熵模型(MEM)小结当我们想要得到一个随机事件的概率分布时,如果没有足够的信息来完全确定其概率分布,那么最为保险的方法就是选择使得熵最大的分布。

    2022年10月19日
  • 常见的js算法_javascript数据结构与算法

    常见的js算法_javascript数据结构与算法常见的几种js算法(一)快速排序算法1.1:先从数列中取出一个数作为“基准”。1.2:分区过程:将比这个“基准”大的数全放到“基准”的右边,小于或等于“基准”的数全放到“基准”的左边。1.3:再对左右区间重复第二步,直到各区间只有一个数。代码实现:varquickSort=function(arr){if(arr.length<=1){retur…

  • console.log()的作用是什么

    console.log()的作用是什么

    2021年10月11日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号