网上看了很多文章都不完整,所以亲自写一遍。
brew 安装
brew reinstall hadoop hive hbase
hadoop配置与操作
进入主目录:
/usr/local/Cellar/hadoop/3.1.2
配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop
1.修改hadoop-env.sh中的JAVA_HOME
运行:
/usr/libexec/java_home
查看
2.core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
<description>A base for other temporary directories</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.hdfs-site.xml
变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.格式化(进入主目录)
格式化hdfs操作只要第一次才使用,否则会造成数据全部丢失
./bin/hdfs namenode -format
启动
注意路径,一定要在安装的根目录下操作,否则会失败
/usr/local/Cellar/hadoop/3.1.2
启动关闭hadoop
./sbin/start-dfs.sh
./sbin/stop-dfs.sh
查看hadoop
启动关闭hadoop的资源管理(没怎么用过,启动过程没有)
./sbin/start-yarn.sh
./sbin/stop-yarn.sh
查看yarn
启动/关闭Hadoop服务(等效上面两个,但没怎么用过)
./start-all.sh
./stop-all.sh
创建目录(未使用)
./bin/hdfs dfs -mkdir /user
这里的/user不是mac的/user,指的是hdfs的路径。
./bin/hdfs dfs -mkdir /user/input
hbase操作(非必须安装)
/usr/local/Cellar/hbase/1.3.4
一定要在安装目录下
./bin/start-hbase.sh
./bin/stop-hbase.sh
hive安装与使用(结合上面的hadoop)
安装
brew install hive
查看HIVE_HOME
/usr/local/Cellar/hive/3.1.2
配置,使用mysql做metastore
放mysql jdbc 连接包
mysql-connector-java-5.1.27.jar
放到$HIVE_HOME/libexec/lib/下
下载地址:
https://dev.mysql.com/downloads/connector/j/5.1.html
进入mysql
mysql -uroot -p
create database metastore;
修改配置文件
cd $HIVE_HOME/libexec/conf/
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
修改如下:
数据库相关
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>yourpassword123456</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/metastore</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
hive文件目录
<property>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.query.results.cache.directory</name>
<value>/tmp/hive/_resultscache_</value>
</property>
初始化数据库
$HIVE_HOME/bin/schematool -dbType msyql -initSchema
启动Hive 的 Metastore Server服务进程(重要)
$HIVE_HOME/bin/hive --service metastore &
起动
hive
检查
hive>show tables;
安装配置中遇到问题,欢迎留言交流。
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/100403.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...