互联网海量视频数据的存储[通俗易懂]

原文链接:http://www.docin.com/p-86312184.html?docfrom=rrela一、背景    互联网内容提供方式转变:用户创造内容。视频应用、网络游戏、搜索引擎等互联网衍生业务迅速发展,使得海量数据存储、管理和处理成为当今互联网公司面临的严峻问题。这些信息保存在存储设备上,便是高膨胀的海量数据,表1是不同互联网应用的规模。  互联网应用海量数据的共性:  1…

大家好,又见面了,我是你们的朋友全栈君。

原文链接:http://www.docin.com/p-86312184.html?docfrom=rrela

一、背景

    互联网内容提供方式转变:用户创造内容。视频应用、网络游戏、搜索引擎等互联网衍生业务迅速发展,使得海量数据存储、管理和处理成为当今互联网公司面临的严峻问题。这些信息保存在存储设备上,便是高膨胀的海量数据,表1是不同互联网应用的规模。

互联网海量视频数据的存储[通俗易懂]

    互联网应用海量数据的共性:

    1)用户群体大,增长速度快;

    2)数据总量大,增长速度快;

    3)数据类型多样,大小不一;

    4)数据操作模式较为固定,一致性要求较弱,对读写延时有一定要求;

    互联网应用的海量数据特性,对数据存储和处理提出了新的挑战,如下:

    1)TB级甚至PB级的存储系统,以适应海量数据的需求;

    2)良好的扩展性。在不中断服务的情况下,通过简单添置机器或者磁盘存储来扩展系统,满足不断增长的数据和用户群体需求;

    3)低时延、高吞吐的存储系统性能;

    4)丰富的存储类型,以满足互联网应用中结构化、半结构化甚至非结构数据的存储需求;

    5)灵活简单的并行编程模型进行海量数据处理,隐藏分布式环境下数据分布、容错等复杂性;

二、数据存储

   1、 传统技术:传统关系型数据库

    局限性:应用场景局限,着眼于面向结构化的数据,致力于事务处理,要求保持严格的一致性;关系模型束缚对海量数据的快速访问能力;缺乏对非结构化数据的处理能力;扩展性差。

    2、新兴数据存储系统:集中式数据管理系统、非集中式数据管理系统

互联网海量视频数据的存储[通俗易懂]

三、数据处理

    快速从海量数据中抽取出关键信息用以提高互联网应用的质量、用户体验等,已经成为互联网企业之间竞争的关键技术问题。同时,大规模数据处理的研究,也是DISC应用研究的关键问题。

    并行计算

    解决大规模数据处理的方法就是并行计算。将大量数据分散到多个节点上,将计算并行化,利用多机的计算资源,从而加快数据处理的速度。目前,这种并行计算主要分为3大类:一类是广泛应用于高性能计算的MPI技术,一类是以Google、Yahoo为代表的互联网企业兴起的Map/Reduce计算,一类是微软提出的Dryad并行计算模型。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/129682.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • [微信开发] – 微信开放平台的扫码登录

    [微信开发] – 微信开放平台的扫码登录首先开通微信开放平台,申请网站应用,交钱通过后可以使用appid和appsecret(和公众平台的不同)之后可以生成扫码登录的二维码了,主要根据开放平台提供的api请求链接和appid,appsecret<%–测试首页–%><%@pagecontentType=”text/html;charset=UTF-8″language=”java”%&…

  • 飞行器pid控制(旋翼飞控)

    先说下什么是四旋翼飞行器名称:四旋翼飞行器组件:一个机架,一个陀螺仪,四个无刷直流电机,一个电池,一块单片机(能飞起来的最基本配置)原理:利用四个电机旋转产生的反作用力托起飞行器上升,利用单片机和飞行控制算法控制电机使飞行器稳定然互简单介绍下串级PID算法名字:串级PID算法作用:采集飞行器姿态角,输出调控量是飞行器稳定先说一下姿态角,现在我们想象一个平铺在空间的一个“十”字,这个字左右晃,上下晃…

  • 英语日常用语--给自己没事时候看看

    英语日常用语--给自己没事时候看看

  • python pymssql_python pymssql

    python pymssql_python pymssql前言最近在学习python,发现好像没有对pymssql的详细说明,于是乎把官方文档学习一遍,重要部分做个归档,方便自己以后查阅。pymssql是python用来连接MicrosoftSQLServer的一个工具库(package)。其包含两个模块:pymssql:遵从DB-API_mssql:性能更佳、更易于使用从版本2.1.x起,整个库的实现基于FreeTDSpymssql的架构如下:在W…

    2022年10月25日
  • fcntl 函数「建议收藏」

    fcntl 函数「建议收藏」fcntl函数浅解Linux系统中使用man查看fcntl函数的原型为fcntl(intfd,intcmd,……/arg/);自己在使用时用到了fcntl(intfd,intcmd,longarg);F_SETFL:设置文件状态标志。将文件的状态标志设置为第三个参数arg的值(取整数值),其中O_RDONLY,O_WRONLY,O_RDWR,O_CREAT

    2022年10月26日
  • SCOM警报通知新特性:即时消息通知

    SCOM警报通知新特性:即时消息通知

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号