大数据管理平台(一)概述「建议收藏」

大数据管理平台(一)概述「建议收藏」系列文章目录文章目录系列文章目录前言一、功能概述二、使用步骤2.1安装2.2监控2.3管理2.4用户管理2.5应用市场2.6操作系统三、总结前言做大数据有几年了,这些年耳濡目染了一些大数据管理平台的使用,但是或多或少使用起来,都不怎么方便,所以决定自己来实现一个简单的大数据平台一、功能概述大数据应用组件往往很多,可能几百台服务器组成一个Hadoop集群,当部署这些节点时,需要一个节点一个节点的操作,简直不敢想象。同时在这些服务器上可能还部署着Spark、Flink、Hive

大家好,又见面了,我是你们的朋友全栈君。

系列文章目录



前言

大数据有几年了,这些年耳濡目染了一些大数据管理平台的使用,但是或多或少使用起来,都不怎么方便,所以决定自己来实现一个简单的大数据平台


一、功能概述

大数据应用组件往往很多,可能几百台服务器组成一个Hadoop集群,当部署这些节点时,需要一个节点一个节点的操作,简直不敢想象。同时在这些服务器上可能还部署着Spark、Flink、Hive、Hbase、ES等很多很多的组件,有时一个节点出问题,如果不即使发现处理/可能会引起一系列问题,而如果想关闭一些节点,或迁移某些节点,则需要运维人员手动去操作,当需要操作的节点很多的时候,就很耗费人力资源。为解决此类问题,大数据管理平台就出现了。

一个比较完善的大数据平台,应该包含有如下功能:

具体包括:

  • 能一键安装大数据产品
  • 能管理/监控多台服务器
  • 能监控到各个大数据产品的运行状况
  • 能在主页面上管理各个产品,并对其操作
  • 有个shell,可以远程操作服务器
  • 能安全管理各个用户/用户组/权限/角色等

前4个是基本的功能,第五个待后续更新

二、使用步骤

2.1 安装

已目前业内比较通用的大数据产品,包括zk,hdfs,yarn,hive,hbase,es等,各个产品的部署方式不同,需要的配置文件操作步骤都不相同,所以必须抽象出一个通用的组件来达到可以满足任何新组件的要求。

  • 环境的配置
    linux环境必须统一,因此在部署前必须做环境检查
    • 首先是系统版本
      第一阶段,我们要求系统版本为CentOS7.x
    • CPU/内存
      要求X86架构和最低8G的内存
    • 硬盘
      不做硬性要求,但至少要有足够大的根分区
    • 网卡
      百兆网卡及以上
    • 分区
      不做硬要求
    • 密码
      每个服务器最好都统一
    • 数量
      为组成集群,要求服务器数量至少三台
  • 架构
    我们以master/slave方式部署,为高可用,我们使得每个服务器,既是master,又是slave,即使又宕机,也可以迅速切换。

2.2 监控

  • 我们需要实时的监控各个组件的运行状况,分别用绿/黄/红代表组件的可用度
  • 当组件出现问题时能及时的发出通知
  • 实时展示组件运行中出现的异常日志,并提供搜索功能

2.3 管理

大数据平台,应当可以对组件进行如下操作:

  • 组件整体关闭
  • 组件整体启动
  • 组件某个角色的关闭/启动
  • 组件某个角色更换节点
  • 组件的删除
  • 组件的升级
  • 组件配置文件/参数的修改

2.4 用户管理

应当提供基础的用户登录/权限控制

2.5 应用市场

需提供组件安装包的上传/版本控制/hotfix修复/镜像包构建

2.6 操作系统

如果使用传统的安装方式,不方便应用的隔离,所以我们采用kubernetes + docker的方式,构建一个简单的操作系统,组件的安装/迁移等,都通过k8s的接口来实现

三、总结

本篇文章主要介绍了大数据平台的基本作用和一个必要的功能,通过此概述,我们大概可以了解到一个比较完善的大数据平台,会在工作、学习中大大提高效率

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/132787.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • JQuery的安装与下载教程

    JQuery的安装与下载教程网页中添加jQuery可以通过多种方法在网页中添加jQuery。您可以使用以下方法:从jquery.com下载jQuery库 从CDN中载入jQuery,如从Google中加载jQuery下载jQuery有两个版本的jQuery可供下载:Productionversion-用于实际的网站中,已被精简和压缩。 Developmentversion-用于测试和开发(未压缩,是可读的代码)以上两个版本都可以从jquery.com中下载。…

  • python3标准库httpclient使用

    python3标准库httpclient使用importhttp.client,urllib.parsedefget_demo():params=urllib.parse.urlencode({‘mode’:’get’,’func’:2})headers={"Content-type":"application/x-www-form-urlencoded",&am

  • c++ 线程间通信方式「建议收藏」

    c++ 线程间通信方式「建议收藏」线程同步和线程互斥互斥:是指某一资源同时只允许一个访问者对其进行访问,具有唯一性和排它性。但互斥无法限制访问者对资源的访问顺序,即访问是无序的,线程间不需要知道彼此的存在。同步:是指在互斥的基础上(大多数情况),通过其它机制实现访问者对资源的有序访问,线程间知道彼此的存在。在大多数情况下,同步已经实现了互斥,特别是所有写入资源的情况必定是互斥的。少数情况是指可以允许多个访问者同时访问资源线程…

  • 数据结构与算法排序算法_数据结构快速排序图解

    数据结构与算法排序算法_数据结构快速排序图解什么是排序?排序是计算机内经常进行的一种操作,其目的是将一组“无序”的记录序列调整为“有序”的记录序列。1.排序的分类排序分为两类:内部排序:若整个排序过程不需要访问外存便能完成,则称此类排序

  • Android短信验证码控件,Android中实现短信验证码自动填入

    Android短信验证码控件,Android中实现短信验证码自动填入Android中实现短信验证码自动填入由于目前的好多应用都有短信验证,短信验证码收到后,用户手动输入已经显得有麻烦,于是我写了这篇博文,希望能对大家有所帮助。实现步骤:1.写一个SmsBroadcastReceiver,在AndroidMainifirst.xml文件中注册:/***配置广播接收者:**表示:*设置此广播接收者的级别为最高*/类代码:publiccl…

  • SQLyog 报错2058 :连接 mysql 8.0.11 解决方法

    SQLyog 报错2058 :连接 mysql 8.0.11 解决方法今天闲来无事,下载新版的 mysql8.0.11安装。为了方便安装查看,我下载了sqlyog工具连接mysql配置新连接报错:错误号码2058,分析是mysql密码加密方法变了。解决方法:windows下cmd登录mysql-uroot-p登录你的mysql数据库,然后执行这条SQL: ALTERUSER’root’@’localhost’IDENTIFI…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号