Hadoop3.3.0安装与使用

Hadoop3.3.0安装与使用

安装

brew install hadoop

Linux用户可以直接下载tar包,解压运行
https://apache.claz.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

配置本地登陆

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

**系统配置(仅Mac需要)
系统->共享里的:
在这里插入图片描述

配置hadoop四个文件

在这里插入图片描述

hadoop-env.sh

添加java home

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

mapred-site.xml

添加

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9010</value>
    </property>
</configuration>

hdfs-site.xml

添加

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

yarn-site.xml(修改告警阀值,默认95%,非必须)

添加

<property>
	<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
	<value>98.0</value>
</property>

core-site.xml

添加

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
	<value>/usr/local/Cellar/hadoop/3.3.0/data/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
    </property>
</configuration>

初始化namenode

hadoop namenode -format

启动

/usr/local/Cellar/hadoop/3.3.0/sbin/start-all.sh

查看(node,yarn)
http://localhost:8042/node
http://localhost:9870/

应用

创建目录和文件

hadoop fs -mkdir -p /input
echo 'hello word' > word.txt 
hadoop fs -put word.txt /input/

使用hadoop 示例:
统计文件中word的数量

hadoop jar /usr/local/Cellar/hadoop/3.3.0/libexec/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.3.0-sources.jar org.apache.hadoop.examples.WordCount /input/word.txt /input/out/word-out
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/100323.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 算法之-归并排序算法,插入排序算法「建议收藏」

    算法之-归并排序算法,插入排序算法

  • QMap简单用法

    QMap简单用法QMap提供了一个从类项为key的键到类项为T的直的映射,通常所存储的数据类型是一个键对应一个直,并且按照Key的次序存储数据,这个类也支持一键多值的情况,用类QMultiMapQHash具有和QMap几乎完全一样的APi,此类维护这一张哈希表,表的大小和数据项是自适应的,QHash是以任意的顺序住址他的数据,,当然了他也是可以支持一键多值的,QMultiHash两种之间的区别是:

  • vscode设置vue模板_vscode怎么创建vue项目

    vscode设置vue模板_vscode怎么创建vue项目VSCode配置Vue模板代码前端行业使用的编辑器有很多,比如VSCode和webStorm,其中在创建vue文件后webStorm可以自动生成相关的代码,而在VSCode中得一个一个的敲,这样既浪费时间又效率低,因此,在VSCode中可以一键生成vue模板吗?当然可以,过程如下:1、打开VSCode编辑器2、左上角文件(F)=>首选项=>用户片段3、在出现的框中输入vue之后按回车键4、在出现的vue.json文件内写入以下代码

  • AlphaGo Zero你也来造一只,PyTorch实现五脏俱全| 附代码

    AlphaGo Zero你也来造一只,PyTorch实现五脏俱全| 附代码原作DylanDjian栗子棋编译整理量子位出品|公众号QbitAI遥想当年,AlphaGo的Master版本,在完胜柯洁九段之后不久,就被后辈Alph…

  • 双线性插值算法详解并用matlab实现「建议收藏」

    双线性插值算法详解并用matlab实现「建议收藏」参考:https://blog.csdn.net/huang1024rui/article/details/46545329数字图像处理双线性插值算法介绍双线性插值法又称为二次线性插值法。在传统的插值算法中,它的插值效果比nearest插值法要好的多,但是速度上也必然会慢很多,比bicubic(二次立方法)效果要差,但速度上要优于bicubic。它主要思想就是利用某像…

  • idea2021激活码_最新在线免费激活

    (idea2021激活码)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号