云计算仿真框架CloudSim介绍

幻灯片1

云计算仿真框架CloudSim介绍

jiangzw#ihep.ac.cn

(以下为本人某次报告做的调研的PPT及其它一些实践记录，为保证清晰度，一些插入的图片较大，可在新标签页中打开)

欢迎交流

=========================2022-04-20更新=============================

有人想学习文中提到的PPT，实在没有，奈何此文时间确实是太久远了，也不记得原作是不是有博客来着了。索性方便本文读者，去找了找，找到一篇博客对原PPT还原较好。

需要的可以去：云计算仿真框架CloudSim介绍（截图版）查看，若模糊，点开大图即可。

或者直接去原文查看：云计算仿真框架CloudSim介绍

保存截图的目的也是防止原文失效。

=========================2022-04-20更新=============================

2013年04月09日 

幻灯片2

提纲

l  概况

l  原理与功能

l  云平台组件模拟

l  数据中心

l  服务代理

l  云信息服务

l  云平台行为模拟

l  云平台策略模拟

l  资源分配

l  任务调度

l  例子与扩展

l  相关研究文献

2

幻灯片3

1.概况    

l  1.1 产生背景

l  云计算得到广泛使用(北美)，需要对云环境下的资源分配与服务调度进行性能评测、优化等

l  构建实际的云平台成本高、效率低

l  公开的测试平台(Yahoo,Amazon)不易申请，规模较小，环境难以控制，结果难以重现

l  需要可重复的、可控制的、成本低廉的仿真环境

l  已经出现的分布式模拟器对虚拟化、应用管理及云计算的即用即付经济驱动的建模支持不足(GridSim,SimGrid,GangSim)

l  为简化云平台的建设与测试过程，澳大利亚墨尔本大学云计算与分布式系统实验室开发了CloudSim(2009)

3

幻灯片4

1.概况    

l  1.2 主要特点

l  支持在单一物理节点仿真和大规模云计算数据中心的实例化

l  提供虚拟化引擎以完成虚拟机服务的创建与管理

l  支持对数据中心网络拓扑与应用间消息传递的建模

l  实现了多个层面的资源分配与任务调度的策略，并支持用户自定义

l  支持虚拟机到主机的分配、虚拟机间资源共享策略的定义

l  支持节能的数据中心电力供应建模

l  支持仿真实体的动态加入、暂停与重启

l  通过数据中心代理组件实现了云计算的经济驱动模型

l  研究人员只需关注抽象层的算法、策略、协议的开发

l  可扩展的、开源的、随社区需求进化的框架:1.0->2.0->2.1->3.0->3.0.2(201211)

4

幻灯片5

提纲

l  概况

l  原理与功能

l  云平台组件模拟

l  数据中心

l  服务代理

l  云信息服务

l  云平台行为模拟

l  云平台策略模拟

l  资源分配

l  任务调度

l  例子与扩展

l  相关研究文献

5

幻灯片6

2.1云平台典型组件模拟

l  实体概念

l  CloudSim模拟云系统中的主要实体Entity

l  Datacenter:提供云平台的硬件资源

l  DatacenterBroker:服务代理商

l  CIS:提供信息资源的注册与查询

l  实体之间可以互相传递、处理事件event

l  CloudSim将实体抽象为SimEntity，包含基本属性与操作：

l  实体初始化

l  事件处理

l  实体销毁

public abstract class SimEntity ｛

private String name;

private int id;

private SimEvent evbuf;

private int state;

…

 public abstract void startEntity();

 public abstract void processEvent(SimEvent ev);

 public abstract void shutdownEntity();

…

 }

  

6

幻灯片7

2.1云平台典型组件的模拟

l  云计算平台数据中心Datacenter

l  模拟云供应商的核心基础设施服务(硬件)

l  可设定指令架构、操作系统、VMM、调度间隔、成本、VM到主机的分配策略

l  管理一组物理主机Host

l  可以设定主机的处理器数目、CPU主频、RAM、硬盘、带宽、VM间共享资源的策略、资源静态分配策略。支持同构与异构的主机配置。

l  模拟数据中心网络行为

l  以延时矩阵的模型仿真网络拓扑

l  Network Datacenter模块强化了对网络拓扑的模拟

l  3.0版本支持对应用程序之间的消息传递模拟

7

幻灯片8

2.1云平台典型组件的模拟

l  云计算平台服务代理DatacenterBroker

l  与云服务的客户直接交互，充当客户与数据中心的中间人

l  对客户屏蔽了云数据中心的内部操作

l  设置VM参数：主频、处理器数目、VMM类型、带宽、镜像大小，对云任务的调度策略(时间共享、空间共享、动态负载）

l  定义Cloudlet：对处理器要求、指令长度、输入与输出文件大小，对CPU、RAM、带宽利用模式

l  用户只需向broker提交自己的上述服务请求即可

l  定义一系列属性与函数，用于客户与数据中心的协调

l  VM创建请求

l  任务到VM的绑定策略

public void submitVmList(List<? extends Vm> list) {

getVmList().addAll(list);

}

public void submitCloudletList(List<? extends Cloudlet> list){

getCloudletList().addAll(list);

}

public void bindCloudletToVm(int cloudletId, int vmId){

CloudletList.getById(getCloudletList(), cloudletId).setVmId(vmId);

}

8

幻灯片9

2.1云平台典型组件的模拟

l  云计算平台信息服务中心CloudInformationService

l  扮演平台的黄页服务角色

l  对新资源进行注册、加入索引

l  对实体的服务请求进行查询

l  在CloudSim初始化时自动创建

public class CloudInformationService extends SimEntity {

private final List<Integer> resList;

private final List<Integer> arList;

@Override

…

public void processEvent(SimEvent ev) {

  int id = -1;   

  switch ( ev.getTag() ) {  

   case CloudSimTags.REGISTER_RESOURCE:

      resList.add( (Integer) );break;

   case CloudSimTags.REGISTER_RESOURCE_AR:

      resList.add( (Integer) ev.getData() );

      arList.add( (Integer) ev.getData() ); break;

   case CloudSimTags.RESOURCE_LIST:

      id = ( (Integer) ev.getData() ).intValue();

      super.send(id, 0L, ev.getTag(), resList); break; 

}

public boolean resourceExist(int id) {}

…

}

9

幻灯片10

2.2云平台典型行为的模拟

l  行为Event

l  模拟了云平台中典型行为:虚拟机事件、任务事件、其它事件

l  event的重要属性：内部类型、发生时间、等待时间、目的实体ID、源实体ID、用户定义的标签、数据

l  处理过程：

l  event被创建后，被放入等待队列FutureQueue,在等待时间结束时未被处理的event会被移入DefferedQueue。

l  优点：任务被创建后可以随时被取消。

10

幻灯片11

2.2云平台典型行为的模拟

l  虚拟机事件、任务事件、资源事件

l  创建VM(VM_CREATE)

l  添加VM数据(VM_DATA_ADD)

l  删除VM数据(VM_DATA_DEL)

l  迁移VM(VM_MIGRATE)

l  销毁VM(VM_DESTROY)

l  任务提交(CLOUDLET_SUBMIT)

l  任务暂停(CLOUDLET_PAUSE)

l  任务恢复(CLOUDLET_RESUME)

l  全局资源注册(REGISTER_REGIONAL_GIS)

l  ……

11

幻灯片12

2.3云平台典型策略的模拟

l  资源分配、任务调度策略

l  虚拟机到主机的分配(VmAllocationPolicy):合适的主机资源等

l  处理器能力分配(PeProvisioner)

l  带宽分配(BwProvisioner)

l  内存分配(RamProvisioner)

l  资源利用模式(UtilizationModel)

l  虚拟机间共享资源的实时调度(VmScheduler)

l  VMM对虚拟机间共享处理器资源的策略：空间共享(VmSchedulerSpaceShared),时间共享(VmSchedulerTimeShared)

l  虚拟机内对任务的调度(CloudletScheduler)

l  虚拟机对收到的多个cloudlet共享处理器资源的策略：空间共享（CloudletSchedulerSpaceShared），时间共享(CloudletSchedulerTimeShared)

12

幻灯片13

2.3云平台典型策略的模拟

l  资源分配、任务调度策略

l  继承相应的类，可进行扩展，实现自己的策略

l  CloudSim元数据架构图

l  以虚拟机的主机分配策略为例

l  寻求能满足VM需求的Host，然后把VM创建到该Host上

l  核心函数:public abstract boolean allocateHostForVm(Vm vm);

l  CloudSim已实现的一种分配策略VmAllocationSimple

13

幻灯片14

提纲

l  概况

l  原理与功能

l  云平台组件模拟

l  云平台行为模拟

l  云平台策略模拟

Cloudsim的元数据结构图，蓝色为用于二次开发的：

名称	平台类型或语言	虚拟化建模	网络建模	物理环境建模	应用建模	通信建模	图形界面	代码许可	开发人员	备注
CloudSim	Java lib/API	支持	支持	简单：耗能	计算，数据传输	简单	无	开源	墨尔本大学	扩展性较好；发布较早较成熟；常用作其它模拟器的参照
CReST	Java App	支持	支持	简单：温度，耗能	简单	简单	有	开源	Bristol大学
FLE	App	不支持	不支持	支持：基于流体力学的温度、空调模拟	简单	简单	有	公司所有	富士实验室
CoolSim	SaaS	不支持	不支持	支持：基于流体力学的温度、空调模拟	简单	不支持	有	商业	Applied Math Modelling Inc.
SimGrid	C lib/API	支持	支持	不支持	简单	不支持	无	开源	INRIA, Sci. & Tech. Institute
VirtualCloud	Java App	支持	不支持	不支持	简单		无	学院所有	Indian Institute of Technology, Bombay
Greencloud	NS2,C++	简单	全面	支持耗能建模	简单计算，数据传输	复杂	有限	开源	University of Luxembourg
iCanCloud	C++,基于OMNET++与INET框架	支持	简单	不支持	简单	完善	有	开源	Universidad Complutense de Madrid

CloudSim

http://www.cloudbus.org/cloudsim/

***********************************Split**************************************

GreeCloud

基于NS2，强调节能调度

***********************************Split**************************************

iCanCloud:

What is iCanCloud?

iCanCloud is a simulation platform aimed to model and simulate cloud computing systems, which is targeted to those users who deal closely with those kinds of systems. The main objective of iCanCloud is to predict the trade-offs between cost and performance of a given set of applications executed in a specific hardware, and then provide to users useful information about such costs. However, iCanCloud can be used by a wide range of users, from basic active users to developers of large distributed applications.

Features

The most remarkable features of the iCanCloud simulation platform include the following:

Both existing and non-existing cloud computing architectures can be modeled and simulated.

A flexible cloud hypervisor module provides an easy method for integrating and testing both new and existent cloud brokering policies.

Customizable VMs can be used to quickly simulate uni-core/multi-core systems.

iCanCloud provides a wide range of configurations for storage systems, which include models for local storage systems, remote storage systems, like NFS, and parallel storage systems, like parallel file systems and RAID systems.

iCanCloud provides a user-friendly GUI to ease the generation and customization of large distributed models. This GUI is especially useful for: managing a repository of pre-configured VMs, managing a repository of pre-configured Cloud systems, managing a repository of pre-configured experiments, launching experiments from the GUI, and generating graphical reports.

iCanCloud provides a POSIX-based API and an adapted MPI library for modelling and simulating applications. Also, several methods for modelling applications can be used in iCanCloud: using traces of real applications; using a state graph; and programming new applications directly in the simulation platform.

New components can be added to the repository of iCanCloud to increase the functionality of the simulation platform.