网上看了很多文章都不完整，所以亲自写一遍。
brew 安装
brew reinstall hadoop hive hbase
hadoop配置与操作
进入主目录：
/usr/local/Cellar/hadoop/3.1.2
配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop
1.修改hadoop-env.sh中的JAVA_HOME
运行：
/usr/libexec/java_home查看
2.core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
<description>A base for other temporary directories</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>3.hdfs-site.xml
变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode，将此值修改为1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>4.格式化(进入主目录)
格式化hdfs操作只要第一次才使用，否则会造成数据全部丢失
./bin/hdfs namenode -format启动
注意路径，一定要在安装的根目录下操作，否则会失败
/usr/local/Cellar/hadoop/3.1.2
启动关闭hadoop
./sbin/start-dfs.sh
./sbin/stop-dfs.sh查看hadoop
启动关闭hadoop的资源管理（没怎么用过，启动过程没有）
./sbin/start-yarn.sh
./sbin/stop-yarn.sh查看yarn
启动/关闭Hadoop服务(等效上面两个，但没怎么用过)
./start-all.sh
./stop-all.sh创建目录（未使用）
./bin/hdfs dfs -mkdir /user
这里的/user不是mac的/user，指的是hdfs的路径。
./bin/hdfs dfs -mkdir /user/input
hbase操作（非必须安装）
/usr/local/Cellar/hbase/1.3.4
一定要在安装目录下
./bin/start-hbase.sh
./bin/stop-hbase.sh
hive安装与使用（结合上面的hadoop）
安装
brew install hive
查看HIVE_HOME
/usr/local/Cellar/hive/3.1.2
配置，使用mysql做metastore
放mysql jdbc 连接包
mysql-connector-java-5.1.27.jar
放到$HIVE_HOME/libexec/lib/下
下载地址：
https://dev.mysql.com/downloads/connector/j/5.1.html
进入mysql
mysql -uroot -p
create database metastore;
修改配置文件
cd $HIVE_HOME/libexec/conf/
cp hive-default.xml.template hive-site.xml
vi hive-site.xml修改如下：
数据库相关
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>yourpassword123456</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/metastore</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>hive文件目录
<property>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.query.results.cache.directory</name>
<value>/tmp/hive/_resultscache_</value>
</property>
初始化数据库
$HIVE_HOME/bin/schematool -dbType msyql -initSchema
启动Hive 的 Metastore Server服务进程（重要）
$HIVE_HOME/bin/hive --service metastore &
起动
hive
检查
hive>show tables;安装配置中遇到问题，欢迎留言交流。
发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/100403.html原文链接：https://javaforall.cn
【正版授权，激活自己账号】： Jetbrains全家桶Ide使用，1年售后保障，每天仅需1毛
【官方授权 正版激活】： 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...
