【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

结束historyserver例如,下面的命令可以看到:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

第四步:验证Hadoop分布式集群

首先在hdfs文件系统上创建两个文件夹。创建步骤例如以下所看到的:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount样例的数据文件,程序执行的结果输出到/output/wordcount文件夹中。透过Web控制能够发现我们成功创建了两个文件夹:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

接下来将本地文件的数据上传到HDFS目录中:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

透过Web控制能够发现我们成功上传了文件:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

也可通过hadoop的hdfs命令在控制命令终端查看信息:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

执行Hadoop自带的WordCount样例。执行例如以下命令:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

执行步骤例如以下:

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)

版权声明:本文博主原创文章,博客,未经同意不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/117121.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 解决Execution failed for task ‘:app:checkDebugDuplicateClasses‘.

    解决Execution failed for task ‘:app:checkDebugDuplicateClasses‘.

  • pytest parametrize fixture_qtp参数化

    pytest parametrize fixture_qtp参数化前言当某个接口中的一个字段,里面规定的范围为1-5,你5个数字都要单独写一条测试用例,就太麻烦了,这个时候可以使用pytest.mark.parametrize装饰器可以实现测试用例参数化。官方示

  • 搭建nexus3私库简要步骤

    搭建nexus3私库简要步骤搭建nexus私库简要步骤:安装nexus登录nexus页面端默认地址http://loaclhost:8081登录nexus账号默认admin/admin123maven-central:maven中央库,默认从https://repo1.maven.org/maven2/拉取jarmaven-releases:私库发行版jar,初次安装请将Deploymentpolicy设置为Allowredeploymaven-snapshots:私库快照(调试版本)jarm

  • Idea卸载及安装

    Idea卸载及安装一Idea目录1.开发工具目录可以安装在D盘2.C盘用户用户名.Idea…..config配置文件(所有”工作区”使用这一个配置文件若想改成默认直接删掉即可会自动加载)system系统文件(删掉会自动加载)二Idea卸载控制面板程序程序和功能卸载彻底的卸载可以都勾上卸完重启电脑重新安装保险三Idea安装网址:https://www.jetbrains.com/idea/download/#section=…

  • MySQL 分区表

    MySQL 分区表

  • Android严苛模式StrictMode使用详解[通俗易懂]

    Android严苛模式StrictMode使用详解[通俗易懂]StrictMode类是Android 2.3(API9)引入的一个工具类,可以用来帮助开发者发现代码中的一些不规范的问题,以达到提升应用响应能力的目的。举个例子来说,如果开发者在UI线

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号