[发明专利]一种基于增量日志的数据组合视图实时更新方法

说明书

一种基于增量日志的数据组合视图实时更新方法。首先，将分布式异构数据源中的数据集封装为数据服务，这些数据服务封装了对分布式异构数据访问的接口；其次，根据用户的数据需求，选取并组合平台中已经注册的原子数据服务，组合生成复合数据服务；再次，执行复合数据服务里得到数据组合视图，并将数据组合视图中的数据进行缓存；最后，通过解析数据源的增量日志，实时更新视图的缓存数据。本发明为基于数据服务的数据集成提供了一种有效的数据组合视图实时更新方法，保证了数据的新鲜度。

技术领域

本发明涉及一种基于增量日志的数据组合视图实时更新方法。

背景技术

信息技术在互联网、物联网、移动计算等领域的深入应用和广泛普及使得几乎每个人、每台设备都成为了数据的生产者，数据类型和数据规模正以前所未有的速度增长。这些数据往往采用大量不同类型的数据存储，具有跨企业、异构、自治等主要特点。利用数据服务化技术，将分布式异构数据源转换为数据服务，然后通过服务组合技术将数据服务集组织为具有全局数据特征的数据统一模型，从而有效地集成和管理分布式异构数据源。将各个异构数据源模型信息集成到一个中心服务器，以一个统一的虚拟视图提供给用户，实际数据依然保存在各个数据源系统中，实现跨域数据的虚拟集成。

虚拟视图会对数据进行缓存，以提高数据访问的效率。然而，当异构数据源自身数据发生变化的时候，会造成数据源与虚拟视图之间的数据不一致性问题。实际上，每个数据库系统的日志文件保存了对数据库的各种操作，例如数据的修改、删除等，用来维护数据的完整性以及恢复数据库。这些日志文件使用专门的方法或工具来读取，例如DB2数据库的日志读取函数db2Readlog、SQL Server数据库的DBCC命令dbcc log、Oracle公司的分析工具LogMiner等。通过解析日志文件，提取数据操作的事务，获得数据的增量变化。然后根据变更的类型和内容，实时定位到缓存中受影响的视图数据并进行更新。

在数据服务组合与数据视图生成方面，Liu等(International Conference onInformation Science&Applications，2014)描述了现代企业信息系统的高级数据服务架构，这种架构解决了两个主要问题：数据的语义集成和数据服务器的适应性问题，目标是支持各种企业信息系统，通过数据服务组合获取数据和共享数据。对于各种异构数据资源(关系型数据库、XML文件、Web服务、OLAP)，内部模型通过语义映射和数据视图来描述业务与数据之间的关系，并通过业务术语在语义级别呈现数据，实现异构数据集成；徐学辉(山东科技大学,2012)通过分析数据服务组合的环境以及数据服务建模的流程，提出了以用户为中心的数据服务组合方法，以此为基础由业务用户实现数据视图的构建；温彦等(计算机科学与探索，2012)提出了跨组织业务数据视图的动态生成方法iViewer，将数据视图的构建过程转化为通过组合操作可视化和易用的数据服务来实现；Gu等(IEEE Transactions onServices Computing,2010)提出了服务数据链接模型，将数据服务的输入和输出属性之间的数据映射关系进行了描述，实现了数据驱动在自动服务组合领域的应用；Amdouni等(IEEE International Conference on Services Computing，2014)提出了一种用于对不确定数据服务建模的概率方法，计算组合输出概率的组合代数，并提出了一种算法来找到组合的正确执行计划。

在数据服务视图更新及优化方面，张鹏等(计算机学报，2013)给出了嵌套视图的概念，为嵌套视图中的元组定义指针实现对任意层次数据服务的调用，并借鉴关系代数中的基本操作，对复合数据服务组成操作进行定义，提出了一种基于数据服务的动态更新嵌套视图的方法，同时通过记录数据服务更新的日志以及在该日志上的嵌套视图增量更新算法，提高了嵌套视图的数据新鲜度；此外，张鹏等(计算机学报，2011)还对数据组合视图的优化更新方法进行了研究，通过数据缓存的方法减少数据视图更新的时间。

发明内容