基于AWS云服务的批处理系统架构

基于AWS云服务的批处理系统架构

在AWS执行批处理任务时,允许按需配置多部分作业处理的应用架构,可用于对异构的系统的瞬时或延迟部署,并可扩展为“网格”型工作节点,通过并联的大批量任务处理实现快速收敛。面向批处理应用程序现在可以有很多的地方利用这种风格按需加工,包括理赔处理,大规模改造,媒体转码和多部分的数据处理工作。

 

批处理架构通常是高可变使用模式的代名词,即在一段低使用率后有明显的使用峰值(例如,月末的处理)。构建一个批处理架构有很多的方法。本文给出了一个基本的批处理架构,用来支持作业调度,作业状态检查,上传原始数据,输出作业结果,网格管理,以及报告作业性能的数据。

1. 作业管理器部署在EC2 实例上,用户通过Elastic IP与之交互。作业管理器组件控制着进程的接收,调度,启动,管理以及完成批处理作业, 同时也可以访问最终的结果,作业和worker状态,以及作业的进展信息。

2.  原始的作业数据被上传到一个高可用的永久存储器中,即S3.

3.  根据用户的行为,作业管理器将单独的作业任务插入到SQS中。

4.  Worker节点是使用AutoScaling组服务的 EC2 实例。 这个组是一个保证了worker 节点健康和可扩展的容器。Worker 节点自动地从输入队列中提取作业部分,同时执行批处理步骤列表中的单独任务。

5.  worker 节点产生的中间数据存储在 Amazon S3中。

6.  作业进展信息和统计信息存储在分析存储区。分析存储区既可以用AmazonSimpleDBRDS 实例.

7.  作为可选项, 已完成的任务可以插入到AmazonSQS 队列中,用于链式结构的再次处理节点。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/109560.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 揭秘vista引导机制

    揭秘vista引导机制揭秘vista引导机制   所谓的引导机制就是在操作系统内核运行前的一小段程序。其主要作用是初始化电脑硬件设备,建立内存空间的映射图。从而将系统的软件和硬件设备环境调配到一个适合的状态,以使电脑最终调用系统内核而准备好适合的环境。   那么vista的引导机制是否和以前的windows的版本不同呢?其实vista引导机制是一项全新的技术。以前寄予nt的windows系统采用“ntl

    2022年10月10日
  • ht1621b驱动显示原理_STM32H723ZGT6

    ht1621b驱动显示原理_STM32H723ZGT6这几天在写ht1621b显示LCD的程序,主芯片是Stm32f10的芯片。对于stm32和ht1621b的运用和操作本人是新手,属于赶鸭子上架,通过查看datasheet等资料和网上查看前人写的程序终

  • mysql datetime格式化日期(mysql start with)

    *版权声明:本文为博主原创文章,转载请注明出处。*我们在日常数据统计时常会遇到“2018-12-1216:21:12”or“2018-12-1216:21:12.609000”这样的时间格式,假如要统计某一天产生了多少条数据量,SQL该怎么写呢?本文希望能够对大家学习和使用有所帮助。contentcreateTime设备2018-12-1015:20:20…

  • idea20212.3的安装和激活教程破解方法

    idea20212.3的安装和激活教程破解方法,https://javaforall.cn/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

  • Vim简明教程【CoolShell】

    Vim简明教程【CoolShell】

    2021年12月17日
  • 点餐程序android,Android点餐系统教程(登陆篇)

    点餐程序android,Android点餐系统教程(登陆篇)前言:点餐系统融合知识也不少,最多的部分都是网络。本教程是本人亲自写。若有转载,需写明原做者喔。点餐系统做用性我懒的说,何时想到了再编辑吧。html准备工做:1.JavaEE的eclipse。固然你eclipse能建web项目也能够2.mysql和Navicatformysql,由于服务器须要用mysql做为后台数据库。Navicatformysql是管理mysql可视化软件。3.Tom…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号