hdfs的八大安全和可靠策略总结和设计基础与目标[通俗易懂]

hdfs的八大安全和可靠策略总结和设计基础与目标[通俗易懂]hdfs的八大安全和可靠策略总结和设计基础与目标

大家好,又见面了,我是你们的朋友全栈君。

hdfs 全称:Hadoop Distributed File System Hadoop分布式文件系统

设计基础与目标:

a: 硬件错误是常态。因此需要冗余

 冗余对hadoop来说不是额外功能,而是本身就需要的一个功能,这个很好理解,就是因为各个节点容易断掉,为了数据的安全性和可维护性,故需要冗余。

b:内存的不稳定,cpu过热,硬盘损坏等等,节点duan掉。 
c:流式数据访问。即数据批量读取而非随机读写,Hadoop擅长做的是数据分析,而不是事务处理

hadoop很少处理oltp(偶尔随机性的读写一些数据)

d:大规模数据集 
e:简单一致性模型。为了降低系统复杂度,对文件采用一次性写多次读的逻辑设计,即文件时一经写入,关闭,就再也不能修改了

如果要修改,只能把原来的数据删除了,再插入。

f: 程序采用数据就近原则分配节点执行

对于一个系统,安全可靠是企业的首选,那么hadoop给我们提供了那些安全策略呢?

(1):冗余副本策略

 可以在hdfs-site.xml中设置复制因子指定副本数量
    所有数据库都有副本
    Datanode启动时,遍历本地文件系统,产生一份hdsf数据库和本地文件的对应关系列表(blockreport)汇报给namednode,namenode会将列表和自己的元数据记录的数据是否相符做出措施
   (冗余的数量过小,难保证数据安全,备份过多,会导致空间的利用率过低,影响速度,降低性能)

(2)机架策略

机架一般放在不同的机架上,机架间带宽要比机架内带宽要小.
HDFS的"机架感知",交换机之间的通讯问题。
节点间传递信息包,以感知是否存在同一个机架上。
一般在本地机架上存放一个副本,在其它机架上再存放别的副本,这样可以防止机架失效时丢失数据,也可以提高带宽利用率(冗余策略)。
这样的话防止整个机架失败的时候,数据找不到冗余了隐患。

(3)心跳机制

 Namenode周期性的从datanode接收心跳信号和块报告。
    数据节点会周期性的向Namenode发送blockreport,向它在本地文件系统中数据块和文件的对应关系。
    Namenode会根据接收到的心跳信号和快报告验证元数据有没失效,如果不一致,则进行相应的修正和冗余的策略。
    Namenode根据块报告验证元数据。
    没有按时发送心跳的datanode会被标记为宕机,不会再给它任何的I/O请求。
    如果datanode失效造成的副本数量下降,并且低于预先设计的阀值(在那个地方设置的阈值),Namenode会检测出这些数据块,并在合适的时机进行重新复制。
    引发重新复制的原因还包括数据副本本身损坏,磁盘错误,复制因子被增大等。

(4)安全模式

Namenode启动时会先经过一个"安全模式"阶段。
    安全模式阶段不会产生数据写。
    在此阶段Namenode接受各个datanode的报告(blockreport),当数据块达到最小副本以上时,也就是Datanode的副本数,会被认为是"安全"的。
    在一定比例(可设置)的数据块被确定为"安全"后,再过若干时间,安全模式结束。
    当检测到副本数不足数据块,该快会被直接复制到达最小副本数。

(5)校验和

在文件创立时,每个数据块产生校验和。
    校验和会作为单独的一个隐藏文件保存在命名空间下。
    客户端获取数据时可以检查校验是否相同,从而发现数据块是否损坏。
    如果正在读取的数据块损坏,则可以继续读取其它的副本如果发现错误,则在快报告中向namenode汇报,并做出相应的措施

(6)回收站

 删除文件时,其实是放入了回收站/trash。
    回收站里的文件可以快速恢复。
    可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值,就会被彻底的删除,并且释放占用的数据块。

(7)元数据保护

映像文件和事务日志是namenode的核心数据,可以配置为拥有多个副本。hadoop 2.x之后就是secondaryNamenode
    副本会降低Namenode的处理速度,但增加安全性。
    如果Namenode依然是单点,如果发生故障要手工切换。使用zookeeper热备就会自动切换处于standby的namenode

(8)快照机制

可能随着数据越来越大,现有的节点已经不能满足当前需求,需要新增加节点以扩充加快的速度,那么怎么增加新的点呢,只能去停掉整个集群然后操作吗?那其实也可以的,只要你的费用支持的起。 

一般来说只要重新加数台机器,做以下步骤:

a:在新节点上安装好hadoop
b:把namenode的有关配置文件复制到该节点
c:修改master和slaves文件,增加节点(每一个节点都要改,采用脚本技术)
d:设置ssh免密码登陆该节点
e:单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start datanode/tasktracker)
f:运行start-balancer.sh进行数据负载均衡

这样就能岁数据量的增加而不断加机器了。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/106125.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 用python实现关机程序_python实现重启关机程序

    用python实现关机程序_python实现重启关机程序python实现重启关机程序发布于2014-08-2523:12:16|595次阅读|评论:0|来源:网友投递Python编程语言Python是一种面向对象、解释型计算机程序设计语言,由GuidovanRossum于1989年底发明,第一个公开发行版发行于1991年。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,它能够把用其他语言制作的各种模块…

  • adb连接安卓设备_安卓adb命令

    adb连接安卓设备_安卓adb命令局域网连接方式adb其他命令用法获取椭圆边界条件

    2022年10月29日
  • ubuntu下DNS服务器配置

    ubuntu下DNS服务器配置现贴一个wiki上的dns配置(非常全面,查询用)http://wiki.ubuntu.org.cn/Bind9%E5%AE%89%E8%A3%85%E8%AE%BE%E7%BD%AE%E6%8C%87%E5%8D%97#Master_Server.EF.BC.88.E4.B8.BB.E6.9C.8D.E5.8A.A1.E5.99.A8.EF.BC.89_2进入正题:首先安装BIND套件

  • window安装maven配置环境变量[通俗易懂]

    window安装maven配置环境变量[通俗易懂]首先去maven官网下载,点击这里去下载页面,下拉选择下图点击下载下载好之后解压出来,然后配置环境变量,在我的电脑-右键-属性-高级系统设置-环境变量然后在系统变量下点击新建变量名:M2_HOME变量值:你下载的maven解压出来的路径,我的如下,复制路径粘贴到变量值里,点击确定再找到系统变量里的:Path在变量值里加入:%M2_HOME%/bin不要…

  • TCP服务端和客户端连接

    TCP服务端和客户端连接TCP:Transmission Control Protocol 传输控制协议 ,是一种面向连接的、可靠的、基于字节流的传输层通信协议。注:先启动服务端,再启动客户端。客户端:package TCP;import java.io.IOException;import java.net.Socket;import java.util.Scanner;// 客户端pub…

  • 国内免费CMS汇总[通俗易懂]

    国内免费CMS汇总[通俗易懂]CMS系统已经成为建站过程中必不可少的工具,现在已经基本看不到手工写成的HTML页面,这几年流行div+css建站,使得手写代码愈加不现实,CMS系统已经成为建站必备的支撑软件。CMS的发展和平台的演变是密切相关的,从最古老的CGI到ASP再到JSP、PHP、.NET,CMS也跟着不断推层出新,大家选择CMS一定要考虑平台,不然几年后可能会出大麻烦。ASP已经被微软淘汰,JSP太复杂难于上

    2022年10月11日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号