大家好,又见面了,我是你们的朋友全栈君。
首先安装jdk
使用apt-get命令安装jdk,因为缺少依赖所以先下载依赖包,
执行命令:sudo apt-get -f install
安装提示执行所需的操作,
接着执行命令:
sudo apt-get update
sudo apt-get install default-jre
sudo apt-get install default-jdk
再执行
java -version
可查询jdk版本,最新的是jdk8,因此下载的也是jdk8
—————————————–
执行途中遇到问题:
1,没有secureCRT没有rz上传命令,
执行命令:apt-get install lrzsz
2,crt远程链接一段时间超时
2.1、在客户端配置
#vi /etc/ssh/ssh_config(注意不是/etc/ssh/sshd_config文件),后面添加
1 2 |
Host * ServerAliveInterval 30 |
这表示要让所有的ssh连接自动加上此属性;如果要指定服务端,如下:
使用-o的参数ServerAliveInterval来设置一个防止超时的时间
1 |
ssh-o ServerAliveInterval=30 IP地址 |
2.2在服务端配置
编辑服务器 /etc/ssh/sshd_config,最后增加
1 2 |
ClientAliveInterval 60 ClientAliveCountMax 1 |
这 样,SSH Server 每 60 秒就会自动发送一个信号给 Client,而等待 Client 回应
2.3在securtCRT上设置:options–>Global Options–>general–>default Session–>Edit Default Settings–>
如上图设置,每秒钟发送一次请求表示链接没有断掉。
—————————————————————
接着配置jdk环境变量
进入到home目录下
执行命令 :
vim /etc/profile
在文件最后,输入一下内容:
export JAVA_HOME=”(你的jdk安装目录,一般为/usr/bin/jvm/java-6-sun)”
export CLASSPATH=”.:$JAVA_HOME/lib:$CLASSPATH”
export PATH =”$JAVA_HOME/:$PATH”
————————-配置ssh免密码登录————-
(1)确认能够联网,执行命令
sudo apt-get install ssh
接着,步骤如下:
1、cd ~,进入到我的home目录
2、cd .ssh/
3、ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
4、cp id_rsa.pub authorized_keys
这样就行了,但是测试ssh locahost的时候提示permission denied(publickey.gssapi-with-mic)
需要做下面修改:
vim /etc/ssh/sshd_config
· 1
对比下面的内容,如果和你的不符合,就改成下面的,如果你那里的那一行前面有#号,就把#号去掉(可能顺序会和下面的不一样)
PermitRootLogin yes
PasswordAuthentication yes
HostKey /etc/ssh/ssh_host_rsa_key
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
重启ssh服务:sudo /etc/init.d/ssh restart
检验ssh是否安装成功:ssh -version
显示:Bad escape character ‘rsion’.表示安装成功
输入:ssh localhost
如下,说明安装成功:
—————————————–下载,安装hadoop—————————–
首先下载hadoop:http://hadoop.apache.org/releases.html#Download
找到如下位置:
点开箭头位置下载tar包,小编这里下载的是hadoop-3.0.0的
rz命令上传到用户目录下,尽量不要使用root用户,小编如下:
这里做一个伪分布式的:
需要修改hadoop的几个配置文件,进入到/home/xiaoye/hadoop-3.0.0/etc/hadoop目录
可以看到许多的配置文件。
1,修改hadoop-env.sh
设置jdk的安装目录,(export JAVA_HOME=”/usr/lib/jvm/java-1.8.0-openjdk-amd64″)
2,修改core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/xiaoye/hadoop-3.0.0/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
加入红框里的内容即可,value的值要确定有相应的目录哦,可自己mkdir
3,修改hdfs-site.xml
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/xiaoye/hadoop-3.0.0/hadoop/data</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/xiaoye/hadoop-3.0.0/hadoop/name</value>
</property>
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:8100</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
同上,value值要新建相应的目录。
4,修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
———————————————-启动hadoop——————————
先格式化hdfs文件系统:进入到hadoop-3.0.0目录下,命令:
./bin/hadoop namenode -format
接着启动hadoop,进入到sbin目录下,命令:
./start-all.sh
启动完成后,输入命令:jps 查看节点启动情况
加上jps总共有6个节点进程说明启动成功,
在windows浏览器上输入你虚拟机的ip地址:8100就能够访问hdfs的页面了。
—————————————-遇到问题———————–
1,jps命令不能使用,即不存在的情况,并报如下错
The program ‘jps’ can be found in the following packages:
* openjdk-6-jdk
* openjdk-7-jdk
Ask your administrator to install one of them
输入以下命令结解决:sudo apt-get install openjdk-7-jdk
如果报openjdk-8-jdk
openjdk-9-jdk
则输入一下解决:sudo apt-get install openjdk-8-jdk
具体看你安装的jdk版本
2,缺少依赖包,以及无法通过apt-get命令下载jdk
尤其实在下载jdk的时候,许多网友给的答案是通过sudo apt-get install sun-java6-jdk 这个命令下载的,可是在我这里不能用,在根据报错信息修改的过程中,尝试过各种方法,比如更好下载路径为网易,阿里,163等,但是都不行,接着报错apt -get i386等信息错误,小编一开始以为是下载ubuntu版本是64位的,使用上述命令下载的是32位的jdk,导致不兼容,但是无法解决。最后百度到这个命令:apt-get -f install 就能够下载所有依赖了
接着执行:
接着执行命令:
sudo apt-get update
sudo apt-get install default-jre
sudo apt-get install default-jdk
能够下载最新的jdk版本。
此外,更好的选择有:
1.
Installing Oracle JDK
2.
sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
3.
Oracle JDK 6(旧版本)
sudo apt-get install oracle-java6-installer
Oracle JDK 7(较新的稳定版本)
sudo apt-get install oracle-java7-installer
Oracle JDK 8(最新预览版本)
sudo apt-get install oracle-java8-installer
4.
5.
Managing Java
6.
sudo update-alternatives –config java
有 2 个候选项可用于替换 java (提供 /usr/bin/java)。
7.
3,ip连接一段时间会自动断开。执行ifconfig命令是不显示ip
这个上面已说明,不再详述
4,设置静态ip后,无法上网,并有时在重启虚拟机后也不能上网
这个是小编的在设置静态ip是没有设置好的缘故,也记下来。
完整的设置静态ip的过程如下。
命令:vim /etc/network/interfaces
修改
# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
auto ens33
iface ens33 inet static
address 192.168.72.131
netmask 255.255.255.0
gateway 192.168.72.3
dns-nameservers 114.114.114.114
dns的114.114.114.114要跟小编的一样,这个应该公网的服务器。
当然dns也可以在/etc/resolv.conf文件中修改,但是每次重启修改的内容好像会消失。
对于ip地址的设置可参照如下讲解
—————————————-ip地址,网关,子网掩码,dns设置—————————————————————
1.查看/设置下NAT的网络
打开VMware Workstation,
点击编辑——虚拟网络编辑器,查看NAT模式的网络。
如下图示,如果你对自动分配的子网IP不喜欢的可以点击还原默认设置,不过还是会自动分配的,不能自己设置的。
点击NAT设置,查看子网IP子网掩码以及查看和设置网关IP
点击DHCP设置,可以查看并设置自动分配的IP范围,后面用到手动分配的IP就是在这些IP中。
2.设置虚拟机的IP
点击VMware Workstation虚拟机——>设置,打开虚拟机设置
设置网络连接为NAT连接方式
开启虚拟机,进入图形界面,点击右上方的网络上下箭头符号,其中图示wired connection 1就是当前使用的网络。如果有其他的网络可以连接到其他的网络中
我们点击下面的Edit Connections进入IP设置。
选择要编辑的IP,点击Edit,进入网络设置界面
选择IPv4 Settings,进入网络设置界面,选择Method的方式:
automatic为自动分配,我们为了是我们的网络固定化,选择Manual;
点击下面的Add添加网络,包括设置Address(IP地址)NetMask和 Gateway
其中Address为虚拟网络编辑器NAT界面DHCP中的IP范围,Netmask为DHCP中的子网掩码,Gateway为NAT设置里面的网关。
设置完成后,保存退出,点击右上角的网络上下箭头,点击Disconnect,然后再选择我们设置的网络,这里选择的是wired connection 1。
相当于重新加载下网络配置文件访问网络。
现在我们查看下网络的IP;
ping下宿主机的IP,不是NAT的网络,(而是主机本身的IP),Ping一下百度
PING 宿主机的IP和百度的结果
联网效果:
———————————————————–结束————————————————————
5,ubuntu安装好后显示“device not managed”
1. 编辑/etc/NetworkManager/NetworkManager.conf:
sudo gedit /etc/NetworkManager/NetworkManager.conf
将其中的managed=false改为managed=true
2.重启network-manager service:
sudo service network-manager restart
6,不通版本的hadoop的conf的配置文件目录放置不一样,需要找找
7,启动hadoop后,可使用netstat -nltp命令查看访问端口和ip
8,无法启动namenode,./start-all.sh后发现只有namenode命令没有启动,其他四个都启动了,这是出现的情况有很多,建议看logs日志找到错误再百度。
9,ubuntu,防火墙启动关闭命令:
sudo ufw version防火墙版本:
ufw 0.29-4ubuntu1
Copyright 2008-2009 Canonical Ltd.
ubuntu 系统默认已安装ufw.
1.安装
sudo apt-get install ufw
2.启用
sudo ufw enable
sudo ufw default deny
运行以上两条命令后,开启了防火墙,并在系统启动时自动开启。关闭所有外部对本机的访问,但本机访问外部正常。
3.开启/禁用
sudo ufw allow|deny [service]
10.启动hadoop时,就是执行./start-all.sh命令是,出现localhost权限不够
这是ssh无密码登录设置失败的原因,可试试的解决方案是,重新设置用户密码,就是先删掉用户.ssh目录下的所有文件,再执行命令 passwd。再重新执行上面的ssh密码登录部分。
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/106189.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...