[科普中国]-通用数据传输平台

定义

随着信息技术的快速发展，电子商务技术已经广泛应用到社会的每个角落。各个行业已经建立起基于广域网络的信息管理体系，在行业内部，业务信息由基层单位采集，向市县、她市、省和国家汇集，各行业间，如工商、税务、银行、保险和公安等业务交互日益频繁，信息资源 共享、信息资源的挖掘与利用的需求迅速增长。在信息交换需求迅速增长，交换信息容量的巨增的情况下，建立通用的、快捷安全、可靠而高效的传输通道，开发大型、多级信息系统通用数据传输平台成为确保庞大的网络信息体系正常运转的关键问题。2

通用数据传输平台是面向分布式应用的通用数据传输平台，GTP系统以消息中间件为基础进行架构，提供满足企级应用需要的通用传输功能。GTP内置的核心服务包括用户及权限管理服务，共享服务，文件收发服务手，资源管理服务；此外．还提供了安全管理、系统管理、日志管理等辅助服务。1

中间件是一种独立的系统软件或服务程序，在不同的技术之间共享资源，位于客户机/服务器的操作系统之上， 管理计算资源和网络通讯。通用数据传输平台不但解决各种类型的数据传输和共享问题，还能提供数据广播，支持超大数据(>4G)的传输。该平台既可独立使用，也可以通过二次开发与各种应用系统相结合，还可以扩展应用系统的数据传输能力。3

通过这个平台，实现了大型网络系统中异构数据库信息系统间数据信息交换、多级网络系统间数据信息交换. 通过数据库同步机制研究解决多级 数据库信息交换过程中上下级数据库数据不一致问题；实现了传输数据库、传输数据的灵活配置。

通用数据传输平台系统系统设计思想(1)采用基于数据库同步机制的数据传输技术

分析和研究数据库同步更新机制，探索相关技术，设计传输数据缓冲池，通过软件技术保证发送数据缓冲池与接收数据缓冲池同步一致，以此确保发送数据库与接收数据库数据的一致性。通过同步技术 解决数据传输中的难题——因传输故障导致发送数据库与接收数据库数据不一致，提高系统的实用性和稳定性。

(2)支持偶连接与实时网络的传输安全技术

传输软件市场 90%的用户为低端用户，其网络环境相对较差，绝大多数是拨号网络。目前国内现有的消息中间件产品，如IBM MQSeries 和 TongLinkQ 等产品在拨号网络上不能实现端点续传功能，在传输发生故障时可能导致数据丢失。为提高软件的适用范围，重点突破在拨号网络下传输安全性与可靠性的保障技术，实现偶连接与实时网络上发生故障时自动回滚与断点续传功能。

(3)采用基于数据库日志传输的数据库同步更新技术

目前，传输中间件采用数据传输方式传输数据，所需传输的信息量相对较大，由于传输数据量大导致传输时间较长，增加了传输失败次数，特别是网络不太稳定的单位，数据传输时会导致传输中断过于频繁，使传输无法进行。研究数据库日志更新机制，传输过程中用日志传输替代数据传输，减轻传输负载，提高传输效率。

(4)采用传输数据库配置与传输数据配置技术

目前，国内流行的消息中间件产品都需进行二次开发程序才能进行数据传输，由于二次开发程序造成开发周期的延长和开发成本的上升，两种系统不能很好地融合造成维护困难。研制和开发传输数据库 配置系统与传输数据定义系统，实现传输数据库灵活配置与传输数据在线定义功能，使传输平台具有传输对象无关性，减少开发时间，降低维护成本。

详细设计(1)传输系统原理

数据发送端：传输服务程序负责检测或连接网路，然后通过客户代理与数据接收端服务代理通讯确认是否可以传输数据，得到确认后调用传输控制程序进行数据传输。传输控制程序实现发送数据缓冲池与接收数据缓冲池的数据同步，同时监控整个数据传输过程。

数据接收端：传输服务程序负责网路，通过服务代理与数据发送端客户代理通讯应答是否可以传输数据，发出确认后调用传输控制程序进行数据接收。传输控制程序实现发送数据缓冲池与接收数据缓冲池的数据同步，同时监控整个数据接收过程。

(2)数据同步处理流程

数据同步是一个事件驱动过程，当系统客户端开始进行同步时，服务器内部将序列化操作：开始连接、确认用户、开始同步、执行事务、结束同步、终止连接。

上载事务：begin-upload 事件标志着上载事务的开始，上载事务由两个部分组成。首先，在所有远程表中执行插入和更新操作，然后在所有远程表中执行删除操作。

下载事务：begin-download事件标志着下载事务的开始，下载事务也由两个部分组成。首先，在所有远程表执行删除操作。然后在download-cursor 中为所有远程表添加行，end-download 事件为所有远程表结束下载。

(3)数据传输流程

整个数据传输过程包括数据抽取、数据审核、数据上传、数据接收、数据审核和数据入库等步骤。

(4)数据传输实现

该系统由数据传输程序和传输管理系统两部分组成.。

传输管理系统主要是为了实现缓冲池( ASA DB)的自动化，包括建立与删除缓冲池( buffer)，mobilink 用户的建立与删除，数据的导入与导出以及恢复等.。建立与删除 buffer，mobilink 用户的建立与删除是基于 DOS 的批处理文件通过 ASA 内部的若干实用程序来实现的。但由于在每一级平台中均在建立发送数据 buffer 和接收数据buffer(二者均作为 mobilink server 的中心DB 存在)时，存储的 SQL 语句是固定结构。

数据传输主程序是针对工作数据库与传输数据库之间的数据转化，通过 PB 中的 pipeline 实现两者之间的数据 copy。传输子系统通过 user object to transdata，调用自动建立的 buffer，准备好上下两极之间的一对发送与接收数据 buffer 中需要的 DATA ，从而通过 mobilink 自身功能实现 DATA 的自动传输。

后台任意类型的数据库可以与传输数据库实现数据类型转换，通过 PB 的 pipeline 实现 DATA 的 copy。

对于 buffer ASA DB( 接收与发送)的形成,是通过 copy 后的表结构动态生成 mobilink 的中心 ASA 中的 SQL 存储结构。完成下级传输平台对上级传输平台的任意类型的信息手/自动发送和上级传输平台对下级传输平台的文件与图片信息的手/自动发送。

创新表现(1)支持各种网络环境(特别是网络条件不好、网络不稳定的情况下保证数据传输的稳定安全)。

(2)支持主流数据库系统(传输对象可以是 Oracle，Sybase，SQLServer 等分布式和异构数据库系统) ，体现系统的通用性。

(3)采用传输缓冲池同步传输技术确保发送数据库与接收数据库数据的一致性，发生故障自动回滚与断点续传确保系统的安全可靠性，解决在发生意外故障后数据丢失、发送数据库与接收数据库数据不一致等数据传输中的技术难题。

(4)数据库日志更新技术避免了大量数据传输，比数据传输提高效率 50%以上.。采用日志传输可大大地节约传输时间，在网络不稳定的地区，由于网络性能不稳经常造成传输中断，频繁地续传、重传导致 网络堵塞和死锁，影响系统的正常运行。日志传输使传输时间大大缩短，减少故障几率，提高了系统的稳定性。2

相关名词消息中间件面向消息的中间件(Message oriented Middleware，MoM)是中间件中非常独特的一类，它支持在一个分布式应用环境中多种用途的消息交换。在分布的计算进程之间，消息是通过消息传递、消息排队两种方 法， 以同步或异步方式进行交换的。 中间件领域目前最热门的技术是异步的消息中间件。异步中间件技术比同步中间件技术具有更强的容错性，在系统出现故障时可以保证消 息的正常传输。

异步消息中间件技术可以分为两类：广播方式和发布/订阅方式。广播方式把消息分发给系统的所有用户；发布/订阅方式可以指定哪种类型的用户可以接收哪种类型的消息。发布/订阅方式由于更加智能有效，因而事实上已成为异步中间件的非正式标准。2

Sybase的Mobilink技术MobiLink是一个基于服务器的同步化引擎，它可以通过串行口、 TCP/IP、HTTP、HotSync、ScoutSync或ActiveSync连接与远程客户通信。使用像MobiLink这样的通用同步技术可以极大地削减开发费用， 因为MobiLink能够处理高级的同步操作，比如瞬象(snapshot)和时间戳同步、主键维持、冲突的检测和解决等。

在服务器端，所有的MobiLink 同步逻辑都是通过使用后台数据库的sQL的事件处理的(MobiLink通过 ODBC连接数据库，所以事实上支持所有的sQL数据库)，通过使用 Certicom的SSL/TLS P1us来支持公钥加密功能(使用椭圆曲线加密系统技术)。2