大家好，又见面了，我是你们的朋友全栈君。
第
3
7
卷
第
2
期
2017年
4
月
河池学院学报
JO
URNAL
OF
HECHI
U
N
IVERSITY
V
o
l
.37
N
o
.
2
Apr
.
2017
基
于
Hadoop
苏树鹏
(广
西
机
电
职
业
技
术
学
院
，
广
西
南
宁
530007)
[摘
要
]随
着
信
息
化
技
术
和
终
端
智
能
的
迅
猛
发
展
，
系
统
需
要
处
理
的
数
据
呈
现
海
量
化
，
使
得
海
量
数
据
的
存
储
、
挖
掘
成
为
当
前
亟
待
解
决
的
问
题
。使
用
云
计
算
技
术
构
建
集
群
系
统
，
可
有
效
地
解
决
海
量
数
据
的
存
储
、
共
享
和
深
度
挖
掘
问题。首
先
，
采
用
平
台
Hadoop
构
建
主
框
架
，
并
采
用
异
构
存
储
的
方
式
将
各
部
门
的
业
务
数
据
转
储
到
集
群
系
统
各
节
点
上
存
储
，
有
效
地
解
决
了
大
数
据
的
存
储
和
备
份
问
题
。最
后
借
鉴
Hive
和
Hbase
优
点
设
计
数
据
挖
掘
子
系
统
，
提高了集群系
统
对
海
量
数
据
的
分
析
能
力
。
实时性分析实验结果表明此次采用的方法较之以往的方法再获得了 3
0
%
的
提
升
。
[
关
键
词
]
Hadoop
;
Hbase
;
Hive
[
中
图
分
类
号
]
TP
31
[文
献
标
识
码
]
A
[
文
章
编
号
]
1672-9021(2017)02-0089 -05
[
作
者
简
介
]
苏
树
鹏
(
1980
–
)
，
男
，
广
西
南
宁
人
，
广
西
机
电
职
业
技
术
学
院
讲
师
，
硕
士
，
主
要
研
究
方
向
：
云计算和
软
件
设
计
。
[
基
金
项
目
]
2
0
1
6
年
度
广
西
高
校
中
青
年
教
师
基
础
能
力
提
升
项
目
“
基
于
云
计
算
和
物
联
网
的
智
能
校
园
的
研
究
与
设
计
”
(
KY
2016
YB
650)。
〇
引言
随着物联网和智能终端技术的广泛应用，
数字世界产生了
6
Z
B
的数据，
其
中
9
5
%
属于非结构化数据，
且
总量飞速增长。系统在处理大数据过程中面临真正的难题是大数据的存储、
高速处理和系统及时响应。为
了解决大数据带来的难题，
柏林工业大学博士后
M
ikio
L
.
B
m
im
[
1
]
提出了大数据解决方案:通过可动态伸缩
并无限扩展对大数据进行可靠存储管理，
运用知识计算等大数据分析技术挖掘大数据潜在价值的信息，
但该
方案还未解决实时大数据迁移等问题。本文在推进信息化智能化数字校园建设背景下，
针对存在校园网平
台中的各系统处理和存储的数据类型呈现多样化、
异构性等问题，
而导致无法实时存储和高效处理的大数
据
，
利用大数据思想和云计算技术构建智能化数字校园平台。先对校园各个系统平台处理的信息生命周期
分
析
，
构建云计算架构的大数据解决方案，
通过设计数据迁移子系统，
解决实时将各个服务器中的数据迁移
到集群系统中进行统一存储管理问题，
实现校园海量数据共享。通过设计数据分析挖掘系统，
解决数据深度
挖掘、
智能数据分析等问题，
为处理大数据提供新的解决方案。
1
系统平台架构技术介绍
目前进行云计算研究与大数据处理的较为主流的平台有由
A
p
a
c
h
e
公
司
研
发
的
H
ad
〇
〇
P
[
2
-3]系
统
，
其把
复杂的作业经过算法优化进行合理切分成若干子作业，
然后将子作业分配到具有所需数据的若干节点进行
并
行
M
apR
educe
计
算
，
节点间没有依赖性且可以根据运行状况进行调度，
提高处理速度和效率。平台进行
并行处理时，
需要位于平台底层分布式存储系统中众多节点存储的数据和节点具体操作，
众多节点中有唯一
的主节点控制其他节点的协同操作和存储信息。
H
B
ase[
4
_6]是
利
用
H
a
d
o
op
系统另一核心
H
D
F
S
作为存储基
发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/142852.html原文链接：https://javaforall.cn
【正版授权，激活自己账号】： Jetbrains全家桶Ide使用，1年售后保障，每天仅需1毛
【官方授权 正版激活】： 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...
