[发明专利]一种同步异构数据库系统中实时数据的方法

摘要

本发明涉及一种同步异构数据库系统中实时数据的方法。该系统设计了一种集成数据层，为来自异构数据源的数据提供数据源之间的实时同步功能，以在异构数据源集成体系结构中保证了异构数据源实现实时同步，而不影响现有的异构数据源集成模式。

主权项

1.一种同步异构数据库系统中实时数据的方法，所述异构数据库系统包括：数据仓库、集成数据层和应用接口；底层的各个异构数据源构成了系统的数据仓库；集成数据层封装了异构数据库集成系统的业务逻辑；各种应用程序和对应的访问接口构成了系统的应用接口；集成数据层是实现异构数据库中数据转换的核心，目的是访问各个数据源，集成数据源信息，协调各数据源间信息；集成数据层在各局部数据提供的共享数据的基础之上建立一个全局的虚拟视图，并不存储实际的数据；具体包括:元数据DB、元数据管理器、封装器、切换器、应用层访问统一接口、异构数据源归一化接口；元数据DB用于储存各异构数据库的元数据库信息；元数据管理器用于制定集成系统的全局模式与局部数据库的模式之间的转换规则；切换器用于异构数据库的注册、公共模型的生成和全局查询请求的接收；封装器用于实现数据位置和访问的透明，对异构的数据进行包装；集成数据层对外提供了两个统一接口，即应用层访问统一接口和底层异构数据库访问接口；其功能是屏蔽各数据库的差异，提供数据的透明访问，使得使用者无需知道数据的数据源模式及具体的物理位置信息，只需通过系统定义的与具体数据源无关的SQL语句进行访问；当应用开始运行后，首先需要读取基础配置，该基础配置信息来源于元数据DB，包括储存各异构数据源的元数据库信息；连接多个实时数据源，其中包括第一实时数据源和至少一个第二实时数据源，通过底层异构数据库访问接口捕获第二实时数据源中的数据模式变化，如果没有新的数据模式，按照指定的传输协议格式，进行数据格式变化；汇总所有第二实时数据源的数据，将其反映到第二实时数据源的全局模式中；连接第一实时数据源，根据第二实时数据源的全局模式，而由元数据管理器将第二实时数据源模式集成到第一实时数据源的全局模式上，根据集成结果将第二实时数据同步至第一实时数据源，将集成结果存储到数据缓存中；如果有新的数据模式，则收集并集成所有的数据模式形成统一的第二实时数据源全局模式；切换器由三个组件构成，包括：异构数据注册模块、查询规划模块和结果合并过滤模块；异构数据注册模块的主要功能是：在共享数据注册阶段，负责公共模型的建立以及异构数据库的共享注册；查询规划模块的主要功能是：在数据集成阶段，将客户端提交的基于全局数据库的标准查询分解成针对各个异构数据库的子查询，并提交到相应的包装器；结果合并过滤模块的主要功能是：将各异构数据库查询返回的XML文档进行合并，形成完整统一的查询结果，反馈至客户端浏览器；封装器由智能更新模块、查询结果转换模块和数据库操作模块三个组件构成；智能更新模块采用spring框架的quartz任务定时的扫描由不同的异构数据库上传的XML描述文档，通过解析这些XML文档，实现数据自动更新；查询结果转换模块负责将SQL查询的结果转换为XML文档；数据库操作模块负责连接后台各个异构数据库，包括初始化数据库连接、分配连接、封装数据库基本操作、关闭连接的功能。