大数据_03【大数据基础知识】

大数据_03【大数据基础知识】大数据_0301大数据概述02什么是大数据?(BigData)03传统数据与大数据的对比04大数据的特点4.1传统数据与大数据处理服务器系统安装对比4.2大数据下服务器系统安装![在这里插入图片描述](https://img-blog.csdnimg.cn/20201006090915426.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV

大家好,又见面了,我是你们的朋友全栈君。

01 大数据概述

数据来源: 了解大数据到来之前,传统数据的通用处理模式1、企业内部管理系统 ,如员工考勤(打卡)记录。 2、客户管理系统(CRM)

数据特征: 1、数据增长速度比较缓慢,种类单一。 2、数据量为GB级别,数据量较小。

数据处理方式: 1、数据保存在数据库中。处理时以处理器为中心,应用程序到数据库中检索数据再进行计算(移 动数据到程序端)

遇到的问题: 1、数据量越来越大、数据处理的速度越来越慢。 2、数据种类越来越多,出现很多数据库无法存储的数据,如音频、照片、视频等。

02 什么是大数据?(Big Data)

是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

是指一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

数据的存储单位 最小的基本单位是bit 1 Byte =8 bit 1 KB = 1,024 Bytes = 8192 bit

KB MB GB TB PB EB ZB YB BB NB DB 进率1024

03 传统数据与大数据的对比

在这里插入图片描述

04 大数据的特点

Volume(大量):  		数据量巨大,从TB到PB级别。
Velocity(高速):		数据量在持续增加(两位数的年增长率)。
Variety(多样): 		数据类型复杂,超过80%的数据是非结构化的。
Value(低密度高价值):  	低成本创造高价值。

数据来自大量源,需要做相关性分析。
需要实时或者准实时的流式采集,有些应用90%写vs.10%读。
数据需要长时间存储,非热点数据也会被随机访问。

4.1 传统数据与大数据处理服务器系统安装对比

在这里插入图片描述

4.2 大数据下服务器系统安装

在这里插入图片描述

05 大数据生态系统

大数据:历史数据量逐渐攀升、新型数据类型逐渐增多。是企业必然会遇到的问题
新技术:传统方式与技术无法处理大量、种类繁多的数据,需要新的技术解决新的问题。
技术人员:有了问题,有了解决问题的技术,需要大量懂技术的人解决问题。 最佳实践:解决 问题的方法,途径有很多,寻找最好的解决方法。
商业模式:有了最好的解决办法,同行业可以复用,不同行业可以借鉴,便形成了商业模式。

新技术
HADOOP
		HDFS:		海量数据存储。
		YARN:		集群资源调度。
		MapReduce:	历史数据离线计算。
	
Hive:海量数据仓库。	
	Hbase:		海量数据快速查询数据库。
	Zookeeper:	集群组件协调。
	
Impala:		是一个能查询存储在Hadoop的HDFS和HBase中的PB级数据的交互式查询引擎。

Kudu:		是一个既能够支持高吞吐批处理,又能够满足低延时随机读取的综合组件
	Sqoop:	数据同步组件(关系型数据库与hadoop同步)。
	Flume :	海量数据收集。
	
Kafka:		消息总线。
Oozie:		工作流协调。
Azkaban: 	工作流协调。
Zeppelin:	数据可视化。
Hue: 		数据可视化。
Flink:		实时计算引擎。

Kylin: 	分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析。
Elasticsearch: 	是一个分布式多用户能力的全文搜索引擎。
Logstash: 		一个开源数据搜集引擎。
Kibana: 		一个开源的分析和可视化平台。

SPARK
		SparkCore:Spark 核心组件
		
SparkSQL:			高效数仓SQL引擎
Spark Streaming: 	实时计算引擎
Structured: 		实时计算引擎2.0
Spark MLlib:		机器学习引擎
Spark GraphX:		图计算引擎

06 大数据生态系统

在这里插入图片描述

大数据技术快的原因
	1、分布式存储
	2、分布式并行计算
	3、移动程序到数据端
	4、更前卫、更先进的实现思路
	5、更细分的业务场景
	6、更先进的硬件技术+更先进的软件技术
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/135887.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • JavaScript 高级程序设计(第3版)

    JavaScript 高级程序设计(第3版)内容简介ECMAScript5和HTML5在标准之争中双双胜出,使大量专有实现和客户端扩展正式进入规范,同时也为JavaScript增添了很多适应未来发展的新特性。《JavaScript高级程序设计(第3版)》这一版除增加5章全新内容外,其他章节也有较大幅度的增补和修订,新内容篇幅约占三分之一。全书从JavaScript语言实现的各个组成部分——语言核心、DOM、BOM、事件模…

  • mysql中多表嵌套查询例子_mysql子查询嵌套规则

    mysql中多表嵌套查询例子_mysql子查询嵌套规则本文实例分析了MySQL嵌套查询。分享给大家供大家参考,具体如下:MySQl从4.11版后已经完全支持嵌套查询了,那么下面举些简单的嵌套查询的例子吧(源程序来自MySQLUserManual):1.SELECT语句的子查询语法:代码如下:SELECT…FROM(subquery)ASname…先创建一个表:CREATETABLEt1(s1INT,s2CHAR(…

    2022年10月21日
  • verycd下载办法_不提供是什么意思

    verycd下载办法_不提供是什么意思现在verycd不提供下载了,我们少了一个重要的资源下载地址。以前是影视剧不能下载,现在是所有东西全部不可以下载。难道我们没有其他方可以下载吗?还是有的,而且比verycd开放的功能还多。verycd不提供下载的解决办法:simplecd还可以提供下载,甚至影视剧也可以下载。SimpleCD专注于为VeryCD做简单的备份,同时也提供了基本的搜索和列

  • 解决ie8下onpropertychange事件间歇性失效的问题「建议收藏」

    有的时候onpropertychange事件一下好用,一下不好用网上有的说去掉<!DOCTYPEhtml>就好了,我试了下,虽然然管用,但doctype是推荐加上的,去掉他有些东西会乱。如果文本框的样式中有width属性,没有height属性就会出现此问题,不知道是什么原因<inputtype="text"id="name"name="na…

  • Smail语法「建议收藏」

    Smail语法「建议收藏」Smail语言首先了解什么是smail?apk文件通过apktool反编译出来的都有一个smali文件夹,里面都是以.smali结尾的文件。smali语言是Davlik的寄存器语言,语法上和汇编语言相似,DalvikVM[1]与JVM的最大的区别之一就是DalvikVM是基于寄存器的。基于寄存器的意思是,在smali里的所有操作都必须经过寄存器来进行。S…

    2022年10月22日
  • dedecms的各个文件代表的意思

    dedecms的各个文件代表的意思

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号