hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传格式:hadoopfs-命令主要有如下的命令:命令说明hadoopfs-mkdir创建HDFS目录hadoopfs-ls列出HDFS目录hadoopfs-copyFromLocal使用-copyFromLocal复制本地文件(local)到HDFShadoopfs-put使用-put复制本地(local)文件到HDFShadoopfs-copyToLocal将HDFS上的文件复制到本地(local)hadoopfs-get将HDFS上的文件复制到本地

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

格式:hadoop fs -命令

主要有如下的命令:

命令

说明

hadoop fs -mkdir

创建HDFS目录

hadoop fs -ls

列出HDFS目录

hadoop fs -copyFromLocal

使用-copyFromLocal复制本地文件(local)到HDFS

hadoop fs -put

使用-put复制本地(local)文件到HDFS

hadoop fs -copyToLocal

将HDFS上的文件复制到本地(local)

hadoop fs -get

将HDFS上的文件复制到本地(local)

hadoop fs -cp

复制HDFS文件

hadoop fs -rm

删除HDFS文件

hadoop fs -cat

列出HDFS目录下的文件的内容

【一、创建与查看HDFS目录】

1、创建HDFS目录:
hadoopfs命令详解_hadoophdfs命令上传

2、查看之前创建的HDFS目录

hadoopfs命令详解_hadoophdfs命令上传

注意:因为登录的用户为hduser,所以会显示/user/hduser下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

hadoopfs命令详解_hadoophdfs命令上传

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

hadoopfs命令详解_hadoophdfs命令上传

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

hadoopfs命令详解_hadoophdfs命令上传

【二、从本地计算机复制文件到HDFS】

1、复制本地文件到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

2、列出文件内容:

hadoopfs命令详解_hadoophdfs命令上传

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

hadoopfs命令详解_hadoophdfs命令上传

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

hadoopfs命令详解_hadoophdfs命令上传

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

hadoopfs命令详解_hadoophdfs命令上传

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

hadoopfs命令详解_hadoophdfs命令上传

【三、从HDFS上复制文件到本地】

1、参数 -copyToLocal

hadoopfs命令详解_hadoophdfs命令上传

2、同样的也可以用参数-get完成上述操作:

hadoopfs命令详解_hadoophdfs命令上传

【四、复制与删除HDFS文件】

1、使用-cp参数,在HDFS上进行复制文件

hadoopfs命令详解_hadoophdfs命令上传

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

hadoopfs命令详解_hadoophdfs命令上传

hadoopfs命令详解_hadoophdfs命令上传

在http://master:50070上可以浏览和操作HDFS的目录和文件

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/186070.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • ico图标在谷歌浏览器中如何显示?

    ico图标在谷歌浏览器中如何显示?

  • 二叉树中序遍历图示[通俗易懂]

    二叉树中序遍历图示[通俗易懂]一,中序遍历二叉树的算法1,调用自身来遍历节点的左子树2,访问这个节点3,调用自身来遍历节点的右子树二,实例三,方法调用tree.inOrder(tree.root);四,执行示意图总结:学习二叉树的时候,一直对遍历所用到的递推跟递归思想迷惘。现在使用示意图,觉得清晰多了,希望能帮有需要的人。…

  • linux内核编程_linux内核是什么

    linux内核编程_linux内核是什么什么是操作系统?指在系统中负责完成最基本功能和系统管理的部分,操作系统有哪些组成部分?内核——操作系统的内在核心 设备驱动程序 启动引导程序 命令行shell 其他种类的用户界面—-操作系统的外在表象 基本的文件管理工具和系统工具Linux内核的组成Linux内核源代码目录结构是什么,各目录有什么含义?arch:包含和硬件体系结构相关的代码,每种平台占一…

  • c#中int16 int32 int64区别[通俗易懂]

    c#中int16 int32 int64区别[通俗易懂]c#intInt32Int64的区别int16=short;int32=int;int64=long;Int16值类型表示值介于-32768到+32767之间的有符号整数。Int32值类型表示值介于-2,147,483,648到+2,147,483,647之间的有符号整数。Int64值类型表示值介于-9,223,372

  • Web安全:概述_逆向和Web安全

    Web安全:概述_逆向和Web安全文章目录浏览器安全同源策略多进程结构沙箱恶意网址拦截跨站脚本攻击XSS定义示例分类浏览器安全同源策略浏览器的同源策略,限制了来自不同源的“document”或脚本对当前“document”的读取或修改。影响源的因素有:host、子域名、端口、协议等。多进程结构将浏览器的各个功能模块分开,各个浏览器实例分开,这样若一个进程崩溃,也不会影响到其他进程。GoogleChrome是第一个采取多进程架构的浏览器,其主要进程包括:浏览器进程、渲染进程、插件进程、扩展进程等。其中插件进程如flash、ja

  • html5 移动端开发模板,搭建一个vue-cli的移动端H5开发模板

    html5 移动端开发模板,搭建一个vue-cli的移动端H5开发模板简介vue-mobile是是基于vue-cli实现的移动端H5开发模板,其中已经搭建好基本的开发框架,可帮助您实现快速开发。技术栈:vue+vux+axios+less功能搭建项目目录配置css预处理器配置UI组件库vux解决移动端适配配置页面路由缓存axios请求封装工具类函数封装toast组件封装dialog组件封装底部导航组件封装列表页demo表单页…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号