hadoop hdfs命令 脚本源码_hadoop启动hdfs命令

hadoop hdfs命令 脚本源码_hadoop启动hdfs命令hadoop集群搭建好之后,通过HDFS命令操作HDFS分布式文件系统,HDFS命令与linux命令类似所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档hadoopfs-help使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

hadoop集群搭建好之后,通过HDFS命令操作HDFS分布式文件系统,HDFS命令与linux命令类似

所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档

hadoop fs-help

使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上

hadoop常用命令

格式:

hadoop fs -命令 [-选项] [文件/目录]

命令 说明 补充
hadoop fs -mkdir 创建HDFS目录 -p选项,可以一次性创建多级目录
hadoop fs -ls 列出HDFS目录 -R选项,查看目录下所有的文件(递归Recursive)
hadoop fs –ls /查看HDFS根目录
hadoop fs –ls –R /查看HDFS所有子目录
hadoop fs -copyFromLocal 上传本地文件到HDFS -f选项,强制复制(存在则替换文件)
hadoop fs -put 上传本地文件到HDFS -f选项,强制复制(存在则替换文件),特别的可以写入内容
hadoop fs -copyToLocal 将HDFS文件下载到本地
hadoop fs -get 将HDFS文件下载到本地
hadoop fs -cp 复制HDFS文件
hadoop fs -rm 删除HDFS文件 -R选项,删除目录
hadoop fs -cat 查看HDFS目录下的文件内容 (只有文本文件的内容可以查看,其它类型会乱码)
hadoop fs –test查看文件
hadoop fs –tail查看文件

Linux本机和HDFS之间文件传输

即虚拟机的linux系统的文件与hadoop的HDFS分布式系统的文件之间的文件共享

上传文件(linux—>hdfs)

hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]

可以进行文件重命名
hdfs没有写文件名,默认为原来的命名
linux上传的文件必须存在
hdfs已经存在文件,不会上传,使用下面选项,强制上传
-f选项,强制复制(存在则替换文件)
可以上传多个文件
可以上传目录

-put命令,还可以接收输入stdin

将指定内容显示在屏幕上:echo [内容]
通过”|”(管道符pipe)将屏幕的内容传递存入文件(存入文件不能已经存在)
例:(注意有-put命令后还有 – )
echo abc | hadoop fs -put – /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put – /test/hadoopetc.txt

文件下载(hdfs—>linux)

hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]

可以进行文件重命名
hdfs下载的文件必须存在
可以下载目录

linux命令

命令 说明
cd 目录 进入目录(.表示当前目录,…表示上层目录)
ls [选项] 目录或文件 列出目录[-l -a -R -d -i -h]
cat [选项] 文件名 查看文件内容[-n -b -s]
mkdir [选项] 目录名 创建文件夹[-p]
rm [选项] 文件或目录 删除文件夹[-f -r -i]
cp [选项] 源文件或目录 目标文件或目录 复制文件夹[-p -f -r -i]
mv [选项] 源文件或目录 目标文件或目录 移动文件夹[-f -i -u]
pwd 显示当前工作目录的绝对路径
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/185740.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 交换机上uplink端口的作用是什么_uplink怎么用的

    交换机上uplink端口的作用是什么_uplink怎么用的PoE交换机是如今安防行业使用很广泛的一种设备,因为它是是一种为远程交换机(如IP电话或摄像机)提供电力和数据传输的交换机,具有非常重要的作用。而在使用PoE交换机时,就有朋友咨询到,有的PoE交换机上标着PoE,另外也看到有的标着PoE+。那么,PoE交换机与PoE+有什么区别呢?接下来就由飞畅科技的小编来为大家详细介绍下吧!1、什么是PoE交换机PoE交换机由IEEE802.3af标准定义,…

  • stm32编程入门教程_零基础编程入门书籍

    stm32编程入门教程_零基础编程入门书籍前言在中国,熟悉单片机的人士大多会听说过STM32。这是意法半导体(STMicroelectronics,简称ST)的32位微控制器(MCU)家族,基于ARMCortex-M内核。2007年,STM32F1诞生。这是业界首款搭载ARMCortex-M3内核的32位MCU,采用180nm闪存工艺,配有128KB闪存和20KBRAM,运行主频为72MHz,在当时属于相当高的配置。随后的10年内,STM32产品线相继加入了基于ARMCortex-M0、Cortex-M4和Cortex-M7…

  • noip2014普及组复赛题解_关于如何提高产能的报告

    noip2014普及组复赛题解_关于如何提高产能的报告NOIP2012提高组复赛解题报告

  • WriteProcessMemory_writeandimprove

    WriteProcessMemory_writeandimproveWriteProcessMemory有好几个参数其中的nSize怎么设置??比如Short型Integer型?  nSize以字节为单位,一个字节Byte等于8位基本数据类型的长度ShortInt8位=1ByteSmallInt16位=2ByteInteger16位=2ByteLongInt32位=4ByteWord16位=2ByteLon

  • 项目总结——机房收费系统合作版「建议收藏」

    项目总结——机房收费系统合作版

  • Python中字符串String去除出换行符(\n,\r)和空格的问题

    Python中字符串String去除出换行符(\n,\r)和空格的问题Python中字符串String去除出换行符和空格的问题(\n,\r)在Python的编写过程中,获取到的字符串进场存在不明原因的换行和空格,如何整合成一个单句,成为问题。方法:一、去除空格“·”代表的为空格  strip()"···xyz···".strip()#returns"xyz""···xyz···".lstrip()…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号