Mac Catalina安装配置hadoop hive hbase( 完整可用版)

Mac Catalina安装配置hadoop hive hbase( 完整可用版)

网上看了很多文章都不完整,所以亲自写一遍。

brew 安装

brew reinstall hadoop hive hbase


hadoop配置与操作

进入主目录:

/usr/local/Cellar/hadoop/3.1.2

配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop

1.修改hadoop-env.sh中的JAVA_HOME

运行:

/usr/libexec/java_home

查看

2.core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>

        <description>A base for other temporary directories</description>

    </property>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

3.hdfs-site.xml

变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

4.格式化(进入主目录)

格式化hdfs操作只要第一次才使用,否则会造成数据全部丢失

./bin/hdfs namenode -format

启动

注意路径,一定要在安装的根目录下操作,否则会失败

/usr/local/Cellar/hadoop/3.1.2

启动关闭hadoop

./sbin/start-dfs.sh

./sbin/stop-dfs.sh

查看hadoop

http://localhost:9870/

启动关闭hadoop的资源管理(没怎么用过,启动过程没有)

./sbin/start-yarn.sh

./sbin/stop-yarn.sh

查看yarn

http://localhost:8088/cluster

 

启动/关闭Hadoop服务(等效上面两个,但没怎么用过)

./start-all.sh

./stop-all.sh

创建目录(未使用)

./bin/hdfs dfs -mkdir /user

这里的/user不是mac的/user,指的是hdfs的路径。

./bin/hdfs dfs -mkdir /user/input

 

hbase操作(非必须安装)

/usr/local/Cellar/hbase/1.3.4

一定要在安装目录下

./bin/start-hbase.sh

./bin/stop-hbase.sh

 

hive安装与使用(结合上面的hadoop)

安装

brew install hive

查看HIVE_HOME

/usr/local/Cellar/hive/3.1.2

配置,使用mysql做metastore

放mysql jdbc 连接包

mysql-connector-java-5.1.27.jar

放到$HIVE_HOME/libexec/lib/下

下载地址:

https://dev.mysql.com/downloads/connector/j/5.1.html

进入mysql

mysql -uroot -p

create database metastore;

修改配置文件

cd $HIVE_HOME/libexec/conf/

cp hive-default.xml.template hive-site.xml

vi hive-site.xml

修改如下:

 

数据库相关

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>yourpassword123456</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost/metastore</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

</property>

hive文件目录

<property>

    <name>hive.exec.scratchdir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.exec.local.scratchdir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.downloaded.resources.dir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.querylog.location</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.query.results.cache.directory</name>

    <value>/tmp/hive/_resultscache_</value>

</property>

 

初始化数据库

$HIVE_HOME/bin/schematool -dbType msyql -initSchema

启动Hive 的 Metastore Server服务进程(重要)

$HIVE_HOME/bin/hive --service metastore &

起动

hive

检查

hive>show tables;

安装配置中遇到问题,欢迎留言交流。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/100403.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • setscale方法的用法_基于BigDecimal.setScale的用法小结

    setscale方法的用法_基于BigDecimal.setScale的用法小结1.BigDecimalnum1=newBigDecimal(2.225667);//这种写法不允许,会造成精度损失2.BigDecimalnum2=newBigDecimal(2);//这种写法是可以的3.BigDecimalnum=newBigDecimal(“2.225667”);//一般都会这样写最好4.intcount=num.scale();Sys…

    2022年10月20日
  • pycharm run/debug configurations配置_linux中run文件怎么安装

    pycharm run/debug configurations配置_linux中run文件怎么安装0、Run/DebugConfigurations的坑在安装完PyCharm后,配置好Settings里的ProjectInterpreter,这里就是配置pythoy的解释器。之后运行的时候按Ctrl+Shift+F10运行编辑器的配置,帮你自动配置好Run/DebugConfigurations并运行,而运行另一个文件或新文件时再按Ctrl+Shift+…

  • plot画分段函数_Matlab分段函数图像画法的几点注记「建议收藏」

    plot画分段函数_Matlab分段函数图像画法的几点注记「建议收藏」摘要:本文指出《Matlab教程及实训》中关于分段函数画法的不妥,给出Matlab分段函数的最常用的几种画法。关键词:Matlab分段函数Matalb是三大数学软件之一,有强大的计算功能,图形处理功能,仿真功能,因此学好Matlab可以使我们事半功倍。我们在处理实际问题中经常遇到需要画函数图像,尤其分段函数,有时候会感到茫然,如何利用Matlab画分段函数的图像?我们都知道,画图也就是描点…

  • POJ 1113 Wall 凸包

    POJ 1113 Wall 凸包

  • 上海it外包公司排名_it外包公司排行榜怎么来的?

    上海it外包公司排名_it外包公司排行榜怎么来的?在我们平时上网的时候,总是看到在一些中介网站上会有一些IT外包公司排行榜,这些排行与其它行业的排行榜一样,指导着我们的选择,为我们的外包工作指出了一条相对明晰的道路。那到底这些网站上的排行准不准确呢?下面我们就为大家解析一下。1.名气和口碑。也许我们对外包行业不是很懂,但是在看其它行业如房地产,家电等与大众息息相关的产业时,就会发现但凡上榜的都是很有名气的,且口碑也很好。这就表明了排行还是比较…

  • Qt之读写文件

    Qt之读写文件1.思路读写文件的基本操作:读文件写文件打开文件打开文件读取文件写入文件关闭文件关闭文件2.QFile实现读写文件QFile类提供读写文件的接口。它的构造函数如下:QFile(constQString&name)QFile(QObject*parent)QFile(constQString&name,QObject*parent)通过它的构造函数我

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号