大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE稳定放心使用
hadoop集群搭建好之后,通过HDFS命令操作HDFS分布式文件系统,HDFS命令与linux命令类似
所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档
hadoop fs-help
使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上
hadoop常用命令
格式:
hadoop fs -命令 [-选项] [文件/目录]
命令 | 说明 | 补充 |
---|---|---|
hadoop fs -mkdir | 创建HDFS目录 | -p选项,可以一次性创建多级目录 |
hadoop fs -ls | 列出HDFS目录 | -R选项,查看目录下所有的文件(递归Recursive) hadoop fs –ls /查看HDFS根目录 hadoop fs –ls –R /查看HDFS所有子目录 |
hadoop fs -copyFromLocal | 上传本地文件到HDFS | -f选项,强制复制(存在则替换文件) |
hadoop fs -put | 上传本地文件到HDFS | -f选项,强制复制(存在则替换文件),特别的可以写入内容 |
hadoop fs -copyToLocal | 将HDFS文件下载到本地 | |
hadoop fs -get | 将HDFS文件下载到本地 | |
hadoop fs -cp | 复制HDFS文件 | |
hadoop fs -rm | 删除HDFS文件 | -R选项,删除目录 |
hadoop fs -cat | 查看HDFS目录下的文件内容 | (只有文本文件的内容可以查看,其它类型会乱码) hadoop fs –test查看文件 hadoop fs –tail查看文件 |
Linux本机和HDFS之间文件传输
即虚拟机的linux系统的文件与hadoop的HDFS分布式系统的文件之间的文件共享
上传文件(linux—>hdfs)
hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]
可以进行文件重命名
hdfs没有写文件名,默认为原来的命名
linux上传的文件必须存在
hdfs已经存在文件,不会上传,使用下面选项,强制上传
-f选项,强制复制(存在则替换文件)
可以上传多个文件
可以上传目录
-put命令,还可以接收输入stdin
将指定内容显示在屏幕上:echo [内容]
通过”|”(管道符pipe)将屏幕的内容传递存入文件(存入文件不能已经存在)
例:(注意有-put命令后还有 – )
echo abc | hadoop fs -put – /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put – /test/hadoopetc.txt
文件下载(hdfs—>linux)
hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]
可以进行文件重命名
hdfs下载的文件必须存在
可以下载目录
linux命令
命令 | 说明 |
---|---|
cd 目录 | 进入目录(.表示当前目录,…表示上层目录) |
ls [选项] 目录或文件 | 列出目录[-l -a -R -d -i -h] |
cat [选项] 文件名 | 查看文件内容[-n -b -s] |
mkdir [选项] 目录名 | 创建文件夹[-p] |
rm [选项] 文件或目录 | 删除文件夹[-f -r -i] |
cp [选项] 源文件或目录 目标文件或目录 | 复制文件夹[-p -f -r -i] |
mv [选项] 源文件或目录 目标文件或目录 | 移动文件夹[-f -i -u] |
pwd | 显示当前工作目录的绝对路径 |
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/185740.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...