何谓集群(cluster)[终于解决]

 

1、簇

 

1.1 何谓集群

 

简单的说。簇(cluster)是一组计算机。他们，作为一个一般的为客户提供了一套网络资源。该计算机系统是集群中的单个节点(node)。

个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来。集群是一个系统，而非多个计算机系统。而且集群系统的管理员能够任意添加和删改集群系统的节点。

 

1.2 为什么须要集群

 

集群并非一个全新的概念，事实上早在七十年代计算机厂商和研究机构就開始了对集群系统的研究和开发。

因为主要用于科学project计算，所以这些系统并不为大家所熟知。直到Linux集群的出现，集群的概念才得以广为传播。

 

对集群的研究起源于集群系统的良好的性能可扩展性(scalability)。提高cpu主频和总线带宽是最初提供计算机性能的主要手段。可是这一手段对系统性能的提供是有限的。

接着人们通过添加CPU个数和内存容量来提高性能。于是出现了向量机，对称多处理机(SMP)等。可是当CPU的个数超过某一阈值。象SMP这些多处理机系统的可扩展性就变的极差。主要瓶颈在于CPU訪问内存的带宽并不能随着CPU个数的添加而有效增长。与SMP相反。集群系统的性能随着CPU个数的添加差点儿是线性变化的。图1显示了这中情况。

图1. 几种计算机系统的可扩展性

集群系统的长处并不仅在于此。

以下列举了集群系统的主要长处:

 

高可扩展性:如上所述。

 

高可用性:集群中的一个节点失效，它的任务能够传递给其它节点。能够有效防止单点失效。

 

高性能:负载平衡集群同意系统同一时候接入很多其它的用户。

 

高性价比:能够採用便宜的符合工业标准的硬件构造高性能的系统。

 

1.2.1 集群系统的分类

 

尽管 依据集群系统的不同特征能够有多种分类方法。可是一般我们把集群系统分为两类:

 

高可用(High Availability)集群,简称HA集群。这类集群致力于提供高度可靠的服务。

 

高性能计算(High Perfermance Computing)集群。简称hpC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。

 

第二页

 

 

 

2、高可用集群

 

2.1 什么是高可用性

 

计算机系统的可用性(availability)是通过系统的可靠性(reliability)和可维护性(maintainability)来度量的。project上通经常使用平均无故障时间(MTTF)来度量系统的可靠性。用平均维修时间(MTTR)来度量系统的可维护性。于是可用性被定义为:

 

MTTF/(MTTF+MTTR)*100%

 

业界依据可用性把计算机系统分为例如以下几类:

 

表1. 系统可用性分类

 

可用比例　年停机时间　   可用性分类

99.5            3.7天                 常规系统(Conventional)

 

99.9            8.8小时              可用系统(Available)

 

99.99          52.6分钟           高可用系统(Highly Available)

 

99.999       5.3分钟              Fault Resilient

 

99.9999     32秒                   Fault Tolerant

对于关键业务，停机一般是灾难性的。由于停机带来的损失也是巨大的。以下的统计数字列举了不同类型企业应用系统停机所带来的损失。

 

表 2. 停机给企业带来的损失

应用系统                                 每分钟损失(美元)

 

呼叫中心(Call Center)　　 27000

 

企业资源计划(ERP)系统　　13000

 

供应链管理(SCM)系统　　 11000

 

电子商务(eCoMMerce)系统 10000

 

客户服务(Customer Service Center)系统 27000

随着企业越来越依赖于信息技术，因为系统停机而带来的损失也越拉越大。

 

2.2 高可用集群

 

高可用集群就是採用集群技术来实现计算机系统的高可用性。高可用集群通常有两种工作方式:

 

容错系统:一般是主从server方式。从server检測主server的状态。当主服务工作正常时，从server并不提供服务。可是一旦主server失效。从server就開始取代主server向客户提供服务。

 

负载均衡系统:集群中全部的节点都处于活动状态。它们分摊系统的工作负载。一般Webserver集群、数据库集群和应用server集群都属于这样的类型。

 

关于高可用集群的讨论非常多。这里就不进行深入的阐述了。

 

第三页

 

 

 

3、高性能计算集群

 

3.1 什么是高性能计算集群

 

简单的说，高性能计算(High-Performance Computing)是计算机科学的一个分支，它致力于开发超级计算机。研究并行算法和开发相关软件。高性能计算主要研究例如以下两类问题:

 

大规模科学问题，象天气预报、地形分析和生物制药等;

 

存储和处理海量数据，象数据挖掘、图象处理和基因測序;

 

顾名思义，高性能集群就是採用集群技术来研究高性能计算。

 

3.2 高性能计算分类

 

高性能计算的分类方法非常多。这里从并行任务间的关系角度来对高性能计算分类。

 

3.2.1 高吞吐计算(High-throughput Computing)

 

有一类高性能计算，能够把它分成若干能够并行的子任务，并且各个子任务彼此间没有什么关联。象在家搜寻外星人( SETI@HOME — Search for Extraterrestrial Intelligence at Home )就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的server将一组数据和数据模式发给Internet上參加SETI的计算节点。计算节点在给定的数据上用给定的模式进行搜索，然后将搜索的结果发给server。server负责将从各个计算节点返回的数据汇集成完整的数据。由于这样的类型应用的一个共同特征是在海量数据上搜索某些模式，所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。依照Flynn的分类。高吞吐计算属于SIMD(Single Instruction/Multiple Data)的范畴。

 

3.2.2 分布计算(Distributed Computing)

 

还有一类计算刚好和高吞吐计算相反。它们尽管能够给分成若干并行的子任务，可是子任务间联系非常紧密，须要大量的数据交换。依照Flynn的分类。分布式的高性能计算属于MIMD(Multiple Instruction/Multiple Data)的范畴。

 

3.3 Linux高性能集群系统

 

当论及Linux高性能集群时，很多人的第一反映就是Beowulf。起初，Beowulf仅仅是一个著名的科学计算集群系统。以后的非常多集群都採用Beowulf相似的架构，所以，实际上，如今Beowulf已经成为一类广为接受的高性能集群的类型。虽然名称各异。非常多集群系统都是Beowulf集群的衍生物。当然也存在有别于Beowulf的集群系统，COW和Mosix就是另两类著名的集群系统。

 

3.3.1 Beowulf集群

 

简单的说。Beowulf是一种可以将多台计算机用于并行计算的体系结构。通常Beowulf系统由通过以太网或其它网络连接的多个计算节点和管理节点构成。管理节点控制整个集群系统，同一时候为计算节点提供文件服务和对外的网络连接。它使用的是常见的硬件设备，象普通pc、以太网卡和集线器。它非常少使用特别定制的硬件和特殊的设备。

Beowulf集群的软件也是随处可见的，象Linux、PVM和MPI。

 

本文的以后几部分将具体介绍Beowulf集群系统的硬件、网络、软件和应用体系结构。

 

3.3.2 Beowulf集群和COW集群

 

象Beowulf一样，COW(Cluster Of Workstation)也是由最常见的硬件设备和软件系统搭建而成。通常也是由一个控制节点和多个计算节点构成。COW和Beowulf的主要差别在于:

 

COW中的计算节点主要都是闲置的计算资源。如办公室中的桌面工作站，它们就是普通的PC。採用普通的局域网进行连接。由于这些计算节点白天会作为工作站使用。所以基本的集群计算发生在晚上和周末等空暇时间。而Beowulf中的计算节点都是专职于并行计算，而且进行了性能优化。它们採用快速网(Myrinet或Giganet)上的消息传递(PVM或MPI)进行进程间通信(IPC)。

 

由于COW中的计算节点基本的目的是桌面应用，所以它们都具有显示器、键盘和鼠标等外设。而Beowulf的计算节点通常没有这些外设。对这些计算节点的訪问一般是在管理节点上通过网络或串口线实现的。

 

由于连接COW中计算节点的一般是普通的局域网，所以COW上的高性能应用一般是象SETI@HOME 这种SIMD的高吞吐计算。而Beowulf不管从硬件、网络和软件上都对须要频繁交换数据的MIMD应用做了特别的优化。

 

3.3.3 Mosix集群

 

实际上把Mosix集群放在高性能集群这一节是相当牵强的，可是和Beowulf等其它集群相比， Mosix集群确实是种非常特别的集群， 它致力于在Linux系统上实现集群系统的单一系统映象SSI(Single System Image)。

Mosix集群将网络上执行Linux的计算机连接成一个集群系统。系统自己主动均衡节点间的负载。由于Mosix是在Linux系统内核中实现的集群，所以用户态的应用程序不须要不论什么改动就能够在Mosix集群上执行。通经常使用户非常少会注意到Linux和Mosix的区别。对于他来说。Mosix集群就是执行Linux的一台PC。

虽然如今存在着不少的问题。Mosix始终是引人注目的集群系统。

在总结：http://hi.baidu.com/movieyouth/blog/item/bbe6d658bad56385800a18b6.html