[科普中国]-消息传递多计算机系统

消息传递多计算机系统是一种松散耦合并行处理系统，其中每一个计算机都有自己的地址空间和局部存储器，通过消息传递方式进行相互通信。也就是说，这类并行计算机采用互联网将许多联系较松散的计算机组成一个并行处理系统，其中每个计算机(常称为结点机)都运行自己的操作系统，以消息传递方式实现结点机之间的同步。这种并行机的各个结点机一般以插件方式插在相对集中的1个或几个机柜里，并具有集中的控制台。

简介消息传递多计算机系统主要是利用消息传递方式实现各节点间的通信的松耦耦合多处理机系统。消息传递多计算机系统适于运行非常大的并行程序，其通用性不如紧密耦合的多处理机系统。它的主要优点是可扩展性强，能连接几千台甚至更多台计算机以构成大规模并行处理系统，性能价格比高，其缺点是编程较困难，软件工具有待进一步开发。网络技术的进步使得松耦合系统的通信瓶颈逐步得到缓解。网络传输速度的提高，有效地提高了应用程序间的通信带宽。较常见的消息传递多计算机系统是群机系统。

群机系统群级系统是利用高速通信网络将一组工作站、服务器、小型机甚至巨型机或MPP系统连接起来，在并行程序设计及可视化人机交互集成环境(如PVM、EX-PRESS等)支持下，统一调度，协调处理，实现高效并行处理的系统。从结构和节点间的通信方式来看，群机系统也属于分布式存储系统，主要利用消息传递方式实现各个处理机的通信。已实现和正在研究中的群机系统大多采用现有商用工作站/PC和通用LAN网络，而且大多数群机系统的并行编程环境也建立在一般的UNIX 操作系统之上，这样系统开发的重点在通信和并行编程环境上，既不用重新研制计算机节点，又不用重新设计操作系统和编译系统，可以缩短开发周期、减少系统的开发与维护费用，还可以利用最新的微处理器技术，使得节点机性能保持与处理器发展的同步，而且节点机系统管理相对容易，可靠性高。群机系统扩展容易，对大多数中、粗粒度的并行应用都有较高的效率，而价格相对于传统巨型机或 MPP 系统的价格要低。 但与MPP系统相比，主要的缺点是：群机系统的通信延迟大，并行处理的粒度大 1。

并行处理系统并行处理系统利用多个功能部件或多个处理机同时工作来提高系统性能或可靠性的计算机系统。任何一个计算机系统都包含某种程度的并行性，但如果只具有硬件基本操作的并行性，如一个数据的所有位同时传送，许多门电路同时工作等，不能认为是并行处理系统。并行处理系统至少应包含指令级或指令级以上的并行。20世纪70年代的流水线向量计算机在当时被认为是典型的并行处理系统，但后来用基于流水线技术的 RISC(精简指令集计算机)处理器构成的单机工作站，即使带不少外部设备和终端，一般也不认为是并行处理系统。所谓并行处理系统主要是指并行计算机系统或多处理机系统。并行处理系统可以在4 个级别上实现并行处理：指令内部、指令之间、任务或过程(程序段) 之间和作业或程序之间。采用多个功能单元并行实现一条指令中的不同操作属于指令内部并行，超长指令字( VLIW) 计算机是实现指令内部并行的典型例子。同一时间执行两条以上指令称为指令间并行，超标量计算机中有多条指令流水线，这是指令间并行的实例。一个程序往往可以分解成多个任务、子程序或过程，同一程序内多个任务或过程可以在一个系统的不同处理机中同时运行，以缩短计算时间 ，称为任务级并行。多个作业或大型计算问题的多个独立的程序，在并行处理系统的不同的处理机或计算机中同时运行，以提高系统的吞吐量或有效地利用系统资源，称为作业级并行。并行处理系统的研究与发展涉及计算理论、算法、计算机体系结构、硬件、软件 (包括操作系统、编译、编程环境与程序语言等)以及性能评价等方面。并行处理系统与分布式处理系统有密切关系，随着数字通信技术的不断发展，两者的界限越来越模糊。从广义上讲，分布式处理也可以认为是一种并行处理形式。

网络技术网络技术是指采取一定的通信协议,将分布在不同地点上的多个独立计算机系统,通过互联通道(即通信线路)连接在一起,从而实现数据和服务共享的计算机技术,是现代计算机技术与通信技术相结合的产物。网络技术是从1990年代中期发展起来的新技术，它把互联网上分散的资源融为有机整体，实现资源的全面共享和有机协作，使人们能够透明地使用资源的整体能力并按需获取信息。资源包括高性能计算机、存储资源、数据资源、信息资源、知识资源、专家资源、大型数据库、网络、传感器等。当前的互联网只限于信息共享，网络则被认为是互联网发展的第三阶段。网络可以构造地区性的网络、企事业内部网络、局域网网络，甚至家庭网络和个人网络。网络的根本特征并不一定是它的规模，而是资源共享，消除资源孤岛。网络技术具有很大的应用潜力，能同时调动数百万台计算机完成某一个计算任务，能汇集数千科学家之力共同完成同一项科学试验，还可以让分布在各地的人们在虚拟环境中实现面对面交流。网络的关键技术有网络结点、宽带网络系统、资源管理和任务调度工具、应用层的可视化工具。网络结点是网络计算资源的提供者，包括高端服务器、集群系统、MPP系统大型存储设备、数据库等。宽带网络系统是在网络计算环境中，提供高性能通信的必要手段。资源管理和任务调度工具用来解决资源的描述、组织和管理等关键问题。任务调度工具根据当前系统的负载情况，对系统内的任务进行动态调度，提高系统的运行效率。网络计算主要是科学计算，它往往伴随着大量数据。

消息传递模型消息传递模型：程序中不同进程之间通过显式方法(如函数调用、运算符等)传递消息来相互通信，实现进程之间的数据交换、同步控制等。消息包括指令、数据、同步信号等。因此，程序员不仅要关心程序中可并行成分的划分，而且还需关心进程间的数据交换。消息的发送、接收处理将增加并行程序开发的复杂度。但是它适用于多种并行系统，如多处理机、可扩展机群系统等，且具有灵活、高效的特点。

本词条内容贡献者为:

宋春霖 - 副教授 - 江南大学