[科普中国]-飞行试验数据处理系统

飞行试验是在真实飞行条件下进行科学研究和产品试验的过程。试飞工程师通过飞行试验获取被试航空产品的相关信息，并通过对信息的分析开展相关技术研究。地面数据系统是被试对象试验数据实现在线处理，从而达到试飞数据处理的系统化、标准化和自动化而建设的网络平台。随着飞行试验技术的发展，现代数据处理系统要求具备如下功能：1

1）试飞数据在线处理，需要数据处理系统永不停机，以保证在线用户在任何时候都可以访问到系统中的数据；

2）海量数据在线存储，为海量试飞数据提供一个高安全的存储系统； 访问，为用户提供一个高稳定的数据处理环境。

3）高效率的数据传输，能够同时允许多名数据工程师在线访问数据和进行数据处理，数据传输不会影响网络的畅通。

飞行试验数据数据处理系统是一个具有高可用性、高扩展性、高安全性和易管理性的数据管理平台。

海量试飞数据的存储、管理和面向多用户的及时共享、应用问题一直是困扰试飞数据处理的一大难题，随着数据量的剧增，这一问题尤为突出。无论是通过介质拷贝分发、网络分发或者网络共享，都难以解决试飞数据的严格管理、快速应用等问题。传统的数据存储通常是将磁盘阵列或磁带库等设备连接到局域网，因此大量的数据传输必须依赖于LAN的网络带宽，这将导致客户端用户的慢速响应。1

为了提高数据处理的效率，降低网络拥堵的问题，在该平台建设中我们采用先进的SAN（Storage Area Network）网络作为数据存储网络，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数可以通过存储区域网络在服务器和后台存储设备之间告诉传输。目前常用的SAN结构根据协议和连接器的不同，主要分为FC SAN和IP SAN两种。SAN架构有诸多有点：1

1）利用SAN架构进行数据整合，多台服务器可以通过存储网络同时访问存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用；

2）SAN能够实现数据集中，不同应用对应的服务器数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资源利用率；

3）SAN具有高扩展性，存储网络架构使得服务器可以方便地接入现有SAN环境，能够较好地适应应用变化的需求。

在该数据处理系统平台中，SAN存储系统由SAN交换机和存储阵列柜构成。为了满足数据库存储备份功能的可靠性和安全性要求，采用两台光纤交换机，将每台服务器分别和两个光纤交换机相连，两个交换机再分别和阵列柜相连。这样可以构成一个高性能、高安全、稳定的SAN架构系统。如图所示。

采用磁盘阵列作为存储磁盘（28块146G的硬盘），在磁盘存储系统中用2块硬盘创建一个HOTSPARE（热备）盘，另外建2个逻辑RAID组，2个RAID组中各配置13个物理磁盘，分别配置RAID级别为RAID5， 为指定的服务器组提供磁盘共享。

采用冗余的磁盘阵列技术（ redundant array of inexpensivedisks，RAID），可以提供很好的数据安全保证。RAID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘，从而提高了磁盘读取的性能和数据的安全性。RAID5采用一个硬盘作为校验盘，其余磁盘作为数据盘，数据按位或字节的方式交叉存取到各个数据盘中。数据校验的信息被均匀的分散到阵列的各个磁盘上，这样就不存在并发写操作时的校验盘性能瓶颈。

RAID5是目前兼顾存储性能、数据安全和存储成本等方面因素最佳的存储数据保护解决方案。

飞行试验数据处理是飞行试验工程中非常重要的一个环节。一般地，飞行试验数据处理可以分为实时处理和事后处理。实时处理是与飞行试验同步进行的数据处理，为试飞工程师、飞行试验指挥员提供数据显示，监视飞行过程中飞机及系统的运行状态，保障飞行安全。事后数据处理是飞行试验结束后进行的数据处理。对于大多数型号的数据处理模式都是采用单机数据处理，单机数据处理由于涉及机载测试记录、遥测卸载、数据处理等环节，因此处理效率很低，随着大飞机的试飞工作展开，数据量剧增，试飞参数大大增加，像大飞机单架次数据量达80GB。如果按照传统模式完成如此大的数据量的数据处理，确有困难，必须在有专门的数据存储下，完成数据处理的网络化。2

飞行试验数据处理系统（简称FTDPS）是一个基J2EE技术架构的网络数据处理系统。采用C/S、B/S多层体系结构，以分布式网络计算技术、应用中间件实现用户工程实际应用，在确保飞行试验数据安全管理的同时，方便了用户的技术应用，提高了系统的应用灵活性。2

用户通过浏览器实现数据处理服务请求的准备，服务器接到服务请求后，启动数据库系统中分布式中间件接口数据处理软件，利用存储在阵列的试飞数据文件，完成用户的服务计算请求，然后将结果返回给数据处理系统。2

尽管网络化处理模式相比传统的数据处理模式，确实是向前迈了一大步。但是随着后续试飞工作的逐渐展开，有很多问题需要我们来考虑：由于该系统借助园区网这个平台，随着数据量剧增所带来的带宽瓶颈；随着每架次数据量剧增，系统上传数据速度太慢；在处理过程中，有些帐号不能和调度建立连接进行数据处理；数据量剧增带来的数据处理速度是否能满足课题的要求等问题。2

由此带来的对于海量试飞数据的存储管理模式、飞行试验数据处理系统调度算法的优化模式、海量试飞数据的快速处理模式、园区网网络负载均衡等问题的思考。2

数据就是生命，数据丢失的损失是不可估量的，因此在对数据进行安全存储的同时，也要考虑到数据的灾难恢复。2

目前主流的备份网络架构分为三种：基于直连的备份（directattachedbased backup），基于IP网络的备份（LAN based backups），基于SAN的备份（SAN based backup，通常被成为LAN free backup）。2

飞行试验数据处理平台采用的是SAN架构的网络结构，因此采用基于SAN的备份，即LAN Free备份。在这种网络架构中，备份软件的客户端同时也是存储节点。备份数据集由客户端通过SAN网络写入到备份设备中，而控制信息和元数据从IP网络传输写入到备份服务器的日志中。在这种方案中，备份设备与客户端通过SAN网络进行连接，由客户端完成大量数据的备份。在恢复时，客户端先从备份服务器日中获得相关元数据，然后再从备份设备中读取已备份的数据，完成备份。在飞行试验数据处理系统平台中，我们采用IBM 3584磁带库作为备份介质，磁带库和磁盘阵列都连接在SAN网络上各自作为独立的光纤节点。数据备份时，数据流直接从磁盘阵列传输到磁带库内，而无需占用LAN网络带宽。还能够充分发挥SAN高速数据流网络的技术特点，体现出高速磁带设备的性能。如图所示。2

云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物。2

1）云计算拥有超强的计算能力。它可以为普通用户提供每秒10万亿次的计算能力，完成用户的各种请求服务，这种超级计算能力在普通计算环境下是难以达到的。云计算的超强计算能力正好可以为海量试飞数据的快速处理模式提供参考。

2）云存储（cloud storage）作为云计算研究热点延伸和发展出来的新概念，正在受到来自学术界与工业界越来越多的关注，云存储服务系统为网络海量数据的存储提供了有效的解决方案，在最大程度节约成本的情况下，提供了一个完善的备份、容灾的数据中心。尽管云存储概念提出的时间还不长，却已在解决大规模非结构化数据的在线存储、查询、备份等方面起到了重要的作用[5]。那么能否将云存储技术应用到飞行试验数据存储管理技术当中来是我们值得考虑的。

3）能否利用现有的云技术来优化飞行试验数据处理系统调度算法？

4）云计算的最大优势成本极低；由于云的特殊容错措施可以采用极其廉价的节点来构成云，云的自动化集中式管理使使用者无需负担高昂的数据中心管理成本，云的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受云的低成本优势。