[01401587]大型、多级信息系统通用数据传输平台研究

随着信息技术的快速发展，各个行业已经建立起基于广域网络的信息管理体系，应用范围不断扩大，由地市到省，由省到全国。在行业内部，业务信息由基层单位采集，逐级汇总，数据传输负载巨大。各行业间，业务交互日益频繁，信息资源共享、信息资源的挖掘与利用的需求迅速增长。随着信息交换需求迅速增长，交换信息容量的巨增，系统内部上下级数据库之间的数据传输和不同系统之间的数据交换已成为信息系统发展的一个瓶颈，建立通用的、快捷安全、可靠而高效的传输通道，开发实现通用数据传输的大型、多级异构系统消息中间件成为确保庞大的网络信息体系正常运转、以及今后发展的关键问题。在日益增长的数据传输与数据交换活动中，数据传输系统面临两大难题-数据库间的一致性与数据交换的及时性。由于网络带宽、传输故障、电源、服务器及网络设备故障、数据库及软件系统故障等原因导致系统瘫痪、数据丢失，造成传输数据库之间数据不一致、系统无法运行；由于需传输的数据量过大、传输耗时过长，造成传输频繁失败，信息更新不及时，影响业务系统的正常运行。目前，国际上流行的传输中间件费用昂贵、网络条件要求高、传输效率差、而且不能完全适应中国国情。如，在市县区、乡镇等基层单位较为普遍的网络条件是拨号网络和DDN，而且网络稳定性差，使目前流行的中间件产品无法正常运行。另外，现有中间件产品服务端每套需要几十至上百万元，基层单位在经济上无法承受。基于以上因素，该课题提出开发出一套自主知识产权、适应国内各种应用环境、可靠而高效的大型、多级异构系统消息中间件以解决信息交换过程中诸多关键性问题，对于国家政务改革、信息产业的健康发展具有重要意义。大型、多级异构系统消息中间件研究主要研究：用于广域网络信息交换的消息中间件产品,实现分布式、异种、异构数据库间的远程信息交换。该产品以通用性（偶连接与实时网络通用，异种、异构数据库通用）、快捷性（通过日志传输机制缩短了传输时间）、可靠性（基于同步传输机制确保数据库间数据的一致性）、低成本为产品特色。目前，国外并没有同类产品，因而及早开发完成该项目必将能够占领国内市场。与国外的同类产品相比，该产品应用环境更加广泛，不需二次开发即可直接使用，软件功能更加丰富实用，且成本较低，所以在国际市场上也十分具有竞争性。大型、多级异构系统消息中间件研究的研制将基于选定的软件开发平台进行，具有传输对象的配置与定义功能，采用基于传输缓冲池的数据同步传输大型、多级异构系统消息中间件通用数据传输平台应体现通用性、高效性、安全性和稳定性。主要研究：1） 支持偶连接与实时网络实现安全传输2） 通过数据库日志传输机制可大幅度提高传输效率，降低成本。3） 基于数据库同步机制的数据传输技术确保交换数据的数据库之间数据的一致性。1．主要目标1)大型网络系统中异构信息系统间数据信息交换，多级网络系统间数据信息交换、数据汇总。2)各类异构业务系统间关联业务数据同步更新，广域网络系统业务整合与系统集成。3)大型数据库远程、异地数据备份。2．技术关键（创新点与技术难点）1） 支持各种网络环境（特别是网络条件不好、网络不稳定的情况下保证数据传输的稳定安全）。2） 支持主流数据库系统（传输对象可以是Oracle、Sybase、SQLServer等分布式、异构数据库系统），体现系统的通用性。3） 采用传输缓冲池同步传输技术以确保发送数据库与接收数据库数据的一致性，发生故障自动回滚与断点续传确保系统安全可靠性，解决在发生意外故障后数据丢失、发送数据库与接收数据库数据不一致等数据传输中的技术难题。4） 数据库日志更新技术以避免大量数据传输，大大提高传输效率，比数据传输提高效率50%以上。日志传输使传输时间大大缩短，减少故障几率，提高了系统的稳定性。3．研究与开发内容1) 研究基于数据库同步机制的数据传输技术分析和研究数据库同步更新机制，探索相关技术。设计传输数据缓冲池，通过软件技术保证发送数据缓冲池与接收数据缓冲池同步一致，以此确保发送数据库与接收数据库数据的一致性。2) 支持偶连接与实时网络的传输安全技术为提高软件的适用范围，重点突破在拨号网络下传输安全性与可靠性保障技术，实现偶连接与实时网络上发生故障时自动回滚与断点续传功能。3) 基于数据库日志传输的数据库同步更新技术研究数据库日志更新机制，传输过程中用日志传输替代数据传输，减轻传输负载，提高传输效率。4) 传输数据库配置与传输数据配置技术研制和开发传输数据库配置系统与传输数据定义系统，实现传输数据库灵活配置与传输数据在线定义功能，使传输平台具有传输对象无关性，减少开发时间，降低维护成本。4．研究方案及技术路线大型、多级异构系统消息中间件研究将采用Sybase 公司的 PowerBiulder8.0 和Mobilink 作为开发工具。PowerBiulder是由Sybase 公司推出的软件开发工具，其优势在于数据库开发和数据处理。Sybase 数据库选件MobiLink 是基于会话的同步系统，它允许在统一数据库的主数据库与多个远程数据库之间进行双向同步。远程数据库可以是 Adaptive Server Anywhere 数据库。Mobilink具有双向同步、基于日志传输、支持实时和偶连接网络、基于会话、远程启动、负载平衡等特点，符合分布式、大型、多级信息系统消息中间件软件的系统要求。