[发明专利]基于数据流技术的多源异构数据集成系统

说明书

技术领域

本发明涉及的是一种电信技术领域的系统，具体地说是一种用于解决分布式多源异构数据集成的基于数据流技术的多源异构数据集成系统。

背景技术

信息化时代和全球经济竞争的环境下，随着信息化的不断发展，各行业、单位或者机构、部门内部逐渐实现了业务信息化。但由于业务和功能归属不同，所采用的计算机环境由不同平台组成，形成了大量分布式异构数据源，这些孤立的异构数据源也被称为“信息孤岛”。对多个异构数据源提供统一的表示、存储、查询和管理的工作称为信息集成。当前，不同人不同组织开发的针对不同领域的数据集成系统重复开发，系统灵活性差，增加了系统开发和维护的开销。现在缺乏各信息领域都能通用的灵活的，可扩展的数据交换集成系统。本发明将数据流技术引入数据集成领域，以一种柔性的手段为用户提供了可定制的数据服务，实现异构数据交换和集成，从根本上解决数据交换集成系统的灵活性、可扩展性和重用性。

经对现有技术文献的检索发现，中国专利申请号0410057020.9，发明名称：数据交换方法，公开号：CN1738309，该专利涉及的数据交换系统中，系统通过定义可扩展标记语言的文本格式，对交换数据进行封装，实现数据交换。但不能解决数据交换中出现的语义异构和数据冲突。该数据交换系统：(1)添加新的异构数据源时，需要重新定义可扩展标记语言，可扩展性差，难于实现该方法的即插即用。(2)需根据不同的应用领域定义可扩展标记语言文本格式，限制了该方法的应用领域，影响了数据交换集成系统的通用性。(3)由于不同数据源对同一数据项提供的数据可能会产生冲突，信息集成需要消除数据冲突，而该系统没有解决数据交换集成中出现的数据冲突问题。

发明内容

本发明针对现有技术的不足与缺陷，提供一种基于数据流技术的多源异构数据集成系统，使其能够在分布式环境下为不同信息集成系统提供一种灵活、通用的即插即用的数据集成系统，解决当前信息集成系统需要对数据集成功能进行重复开发，以及现有数据集成系统不能满足信息系统需求，以及不灵活、可扩展性差的问题，推动数据集成的应用和发展。

本发明是通过以下技术方案实现的，本发明包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器。

所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性；接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器。

所述数据交换服务器，接收数据源管理服务器传送的数据，管理各异构数据源提供的局部模式和由此生成的系统全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的数据全局模式和局部模式之间的映射，以及对数据源管理器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射。

所述数据流建模服务器，根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中。

所述数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回的给外部应用系统。

外部异构数据源和外部应用系统是与本发明系统交互的两个外部系统，本发明的任务需求来自外部应用系统，集成的数据来自外部异构数据源，集成结果返回给外部应用系统。

所述的数据源管理服务器包括：系统连接单元、数据管理单元和数据源存储单元，主要负责与外部异构数据源进行连接和数据交互，并负责外部异构数据源的注册，提供对外部异构数据源的相关描述信息；其中系统连接单元主要负责与外部异构数据源进行连接，外部异构数据源可以通过系统连接单元提供的接口与本发明系统进行连接，从而实现本发明系统在各种信息系统中的即插即用；数据管理单元主要负责外部异构数据源的注册，从通过系统连接单元已连接的外部异构数据源获得数据源的地址、局部数据模式、数据源连接属性等相关信息，以及向数据模式服务器提供描述本数据源数据的局部模式；数据源存储单元负责存储外部异构数据源的注册信息。