[发明专利]一种基于增量日志的数据组合视图实时更新方法

摘要

一种基于增量日志的数据组合视图实时更新方法。首先，将分布式异构数据源中的数据集封装为数据服务，这些数据服务封装了对分布式异构数据访问的接口；其次，根据用户的数据需求，选取并组合平台中已经注册的原子数据服务，组合生成复合数据服务；再次，执行复合数据服务里得到数据组合视图，并将数据组合视图中的数据进行缓存；最后，通过解析数据源的增量日志，实时更新视图的缓存数据。本发明为基于数据服务的数据集成提供了一种有效的数据组合视图实时更新方法，保证了数据的新鲜度。

主权项

1.一种基于增量日志的数据组合视图实时更新方法，包括以下步骤：(1)将数据源的数据集封装为原子数据服务；将分布式异构数据源中的数据集封装为数据服务，这些数据服务注册在数据服务平台上供用户通过互联网络访问，原子数据服务按以下方式定义：定义1原子数据服务：将可独立访问且语义不可再分的数据服务称为原子数据服务，它表示为一个八元组ADS＝，其中Id是ADS的唯一标识，Name是ADS的名称，Fields是ADS的属性列表，Description是ADS的语义描述，Input是ADS的输入，有一个或多个，Output是ADS的输出，是一个关系，Operations是对ADS可执行的操作，包括查询、修改和删除，Publisher是ADS的发布者；(2)根据原子数据服务生成复合数据服务；根据用户的具体数据需求，选取并组合平台中已经注册的原子数据服务，组合的结果称为复合数据服务CDS，按以下方式定义：定义2复合数据服务：由若干原子数据服务组成且可被独立访问的数据服务称为复合数据服务，它表示为一个八元组CDS＝，其中Id是CDS的唯一标识；Name是CDS的名称；Sub‑DSG是DSDG的子图；Description是CDS的语义描述；Input是CDS的输入，有1到多个；Output是CDS的输出，是一个关系；Operations是对CDS可执行的操作；Publisher是CDS的发布者；(3)根据复合数据服务生成数据组合视图；复合数据服务CDS包含了与数据需求相关的原子数据服务及其依赖关系，依次执行CDS里的原子数据服务，并通过交、并、差运算得到数据组合视图DCV，按以下方式定义：定义3数据组合视图：执行复合数据服务产生的结果称为数据组合视图，其形式上是一张二维表格，表头是属性列表，其余每行是一个元组；数据组合视图DCV中的集合操作是交、并、差运算中的任何一种，分别用符号∩、∪、—表示，其定义如下：定义4(集合操作，*)对数据服务的多个执行结果进行集合运算，其输出的结果形式是一张二维表格，以CDS1*CDS2表示，设Schema(CDS1)＝R1，Schema(CDS2)＝R2，那么Schema(CDS1*CDS2)＝R1*R2，Tuple(CDS1*CDS2)＝Tuple(CDS1)*Tuple(CDS2)；数据组合视图的二维表格及其数据在用户端进行缓存，用户进行读取和分析，再次调用该DCV时会先读取缓存中的数据以提高数据组合视图生成效率；然而，当数据源的数据进行了更新，将会造成数据组合视图的缓存数据与数据源的最新数据之间不一致的问题，本专利通过数据源的增量日志进行解决；(4)基于增量日志更新数据组合视图；(4.1)获取数据源的增量日志；一般地，数据源的更新操作会以增量修改的方式完整地记录在日志文件中，通过获取增量日志，提取出数据操作的事务，就能够得到具体的数据更新内容；实现方法是让数据服务监听数据源的增量日志，以同步数据源的数据变化，具体步骤如下：步骤a1：开启数据源的日志机制，将数据源的更新操作记录到日志中；步骤a2：配置数据服务要连接的数据源，包括数据源的IP地址和登陆授权信息，如果是第一次启动，设置日志初始指定位置，否则默认设置上一次日志解析成功的位置；步骤a3：数据服务和数据源建立连接后，通过通讯协议数据报文进行交互，读取数据源的更新日志数据；步骤a4：当数据源中的数据发生变化时，以增量修改的方式记录到日志中，并将更新的日志推送给数据服务；步骤a5：数据服务监听到增量日志后，通过日志协议解析日志，并从数据源中重新请求更新后的数据；(4.2)更新组合视图的缓存数据；当数据服务监听到数据源的增量日志后，根据日志的更新类型进行操作：1)更新类型为INSERT或DELETE；当更新类型为INSERT或DELETE时，按以下方式操作：步骤b1：当数据源新增或删除了部分数据，检查组合视图缓存数据是否包含所更新的数据，若是，则继续下一步骤；步骤b2：根据监听的日志，获取INSERT或DELETE的数据；步骤b3：将缓存中的数据与获取的INSERT或DELETE的数据进行并操作或差操作；2)更新类型为UPDATE；更新类型为UPDATE时，按以下步骤操作：步骤c1：当数据源修改了部分数据，检查组合视图缓存数据是否包含了所更新的数据，若是，则继续下一步骤；步骤c2：根据监听的日志，获取更新前后的数据；步骤c3：将缓存中的数据与更新前的数据进行差操作，再与更新后的数据进行并操作；3)更新类型为ALTER或TRUNCATE；更新类型为ALTER或TRUNCATE时，按以下步骤操作：步骤d1：当数据源删除了部分属性或表，检查组合视图缓存数据是否包含了受影响的属性，若是，则继续下一步骤；步骤d2：根据监听的属性，将相应的数据服务做失效处里，并清除相应的缓存数据；按照以上步骤操作之后，数据组合视图中的缓存数据能够保持与数据源数据的一致性。