08_运行hadoop提供的示例程序

08_运行hadoop提供的示例程序

通过上篇文章,我们已经搭建好了整个hadoop体系。我们都知道,hadoop由三大组建:

(1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。

(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager

(3)MapReduce:它其实是一个应用程序开发包。

接下来,我们通过hadoop提供的实例程序来体会一下hadoop的功能。并由此验证我们的整个hadoop体系是否能够正常运行。

该示例程序的主要作用时统计HDFS上的某个文件中每个单词出现的次数。

1 在master上新建一个文本文档:input.txt

vi input.txt 

文件内容:

08_运行hadoop提供的示例程序

2 使用文件上传命令,将该文件上传到hdfs存储的input目录下。

hadoop fs -put ./input.txt /input


08_运行hadoop提供的示例程序

3 查找需要运行的实例程序

 find /usr/local/hadoop -name *example*.jar 

08_运行hadoop提供的示例程序4 运行wordcount程序

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input/input.txt /countoutput


08_运行hadoop提供的示例程序

此时在浏览器查看8088端口,我们可以看到

08_运行hadoop提供的示例程序其中ID:当前运行应用的ID,State:Running

之后出现

08_运行hadoop提供的示例程序

state变为Finished

此时在在浏览器在查看50070端口

08_运行hadoop提供的示例程序进入对应的countoutput目录

08_运行hadoop提供的示例程序

当看到_SUCCESS时,表示程序运行成功

08_运行hadoop提供的示例程序

点击Download查看结果

08_运行hadoop提供的示例程序

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/111286.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号