Java大数据学习01–大数据的本质及学习顺序介绍

大家好，又见面了，我是你们的朋友全栈君。

随着互联网的使用人数越来越多，产生的数据也越来越多。根据数据我们可以分析出很多有用的信息。这也就是当前为什么大数据这么火的行为。

学习大数据有很多种方式，但我们学习的载体是以目前最普遍，最流行的Java语言来进行学习。

下面我们进入正题：

1、首先是大数据的本质：

大数据的本质无非两条：大数据的存储（Hadoop）和大数据的计算（Spark）

存储：由于数据量巨大，把所有数据存在一个机器中是不现实的，容量不够而且也不安全。所以必须要用分布式的文件系统来进行存储。

计算：使用分布式计算。

2、学习路线：

（1）Java基础和Linux基础
（2）Hadoop的学习：体系结构、原理、编程
    第一阶段：HDFS（分布式文件管理系统）、MapReduce（分布式运算编程框架）、Yarn（运算资源调度系统）、HBase（NoSQL数据库）
    第二阶段：数据分析引擎 —> Hive、Pig
              数据采集引擎 —> Sqoop（hadoop与传统数据库导入导出数据的接口：数据库中<==>HDFS）、Flume（日志收集工具：将大规模流数据导入HDFS）
    第三阶段：HUE：Web管理工具
              ZooKeeper：实现Hadoop的HA
              Oozie：工作流引擎
（3）Spark的学习
    第一个阶段：Scala编程语言
    第二个阶段：Spark Core—–> 基于内存，数据的计算
    第三个阶段：Spark SQL —–> 类似Oracle中的SQL语句
    第四个阶段：Spark Streaming —> 进行实时计算（流式计算）：比如：自来水厂                
（4）Apache Storm：类似Spark Streaming —> 进行实时计算（流式计算）：比如：自来水厂
     NoSQL：Redis基于内存的数据库

之后跟我一起来一点一滴认识和了解大数据的各种工具（Hadoop家族）

喜欢的朋友点个赞哦~~