hadoop hdfs命令 脚本源码_hadoop启动hdfs命令

hadoop hdfs命令 脚本源码_hadoop启动hdfs命令hadoop集群搭建好之后,通过HDFS命令操作HDFS分布式文件系统,HDFS命令与linux命令类似所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档hadoopfs-help使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

hadoop集群搭建好之后,通过HDFS命令操作HDFS分布式文件系统,HDFS命令与linux命令类似

所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档

hadoop fs-help

使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上

hadoop常用命令

格式:

hadoop fs -命令 [-选项] [文件/目录]

命令 说明 补充
hadoop fs -mkdir 创建HDFS目录 -p选项,可以一次性创建多级目录
hadoop fs -ls 列出HDFS目录 -R选项,查看目录下所有的文件(递归Recursive)
hadoop fs –ls /查看HDFS根目录
hadoop fs –ls –R /查看HDFS所有子目录
hadoop fs -copyFromLocal 上传本地文件到HDFS -f选项,强制复制(存在则替换文件)
hadoop fs -put 上传本地文件到HDFS -f选项,强制复制(存在则替换文件),特别的可以写入内容
hadoop fs -copyToLocal 将HDFS文件下载到本地
hadoop fs -get 将HDFS文件下载到本地
hadoop fs -cp 复制HDFS文件
hadoop fs -rm 删除HDFS文件 -R选项,删除目录
hadoop fs -cat 查看HDFS目录下的文件内容 (只有文本文件的内容可以查看,其它类型会乱码)
hadoop fs –test查看文件
hadoop fs –tail查看文件

Linux本机和HDFS之间文件传输

即虚拟机的linux系统的文件与hadoop的HDFS分布式系统的文件之间的文件共享

上传文件(linux—>hdfs)

hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]

可以进行文件重命名
hdfs没有写文件名,默认为原来的命名
linux上传的文件必须存在
hdfs已经存在文件,不会上传,使用下面选项,强制上传
-f选项,强制复制(存在则替换文件)
可以上传多个文件
可以上传目录

-put命令,还可以接收输入stdin

将指定内容显示在屏幕上:echo [内容]
通过”|”(管道符pipe)将屏幕的内容传递存入文件(存入文件不能已经存在)
例:(注意有-put命令后还有 – )
echo abc | hadoop fs -put – /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put – /test/hadoopetc.txt

文件下载(hdfs—>linux)

hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]

可以进行文件重命名
hdfs下载的文件必须存在
可以下载目录

linux命令

命令 说明
cd 目录 进入目录(.表示当前目录,…表示上层目录)
ls [选项] 目录或文件 列出目录[-l -a -R -d -i -h]
cat [选项] 文件名 查看文件内容[-n -b -s]
mkdir [选项] 目录名 创建文件夹[-p]
rm [选项] 文件或目录 删除文件夹[-f -r -i]
cp [选项] 源文件或目录 目标文件或目录 复制文件夹[-p -f -r -i]
mv [选项] 源文件或目录 目标文件或目录 移动文件夹[-f -i -u]
pwd 显示当前工作目录的绝对路径
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/185740.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号