[发明专利]基于数据库服务间的通用数据同步方法及其系统

说明书

技术领域

本发明涉及应用间数据文件交换和数据同步技术领域，特别是涉及一种基于数据库服务间(即，数据库服务器之间)的通用数据同步的方法及其系统。

背景技术

现有应用之间的数据传输技术主要有联机接口和文件接口两种方式，无论是对于联机接口方式还是文件接口方式，若要实现数据同步，都需要上游应用系统和下游应用系统按照统一的规范和接口标准进行定制，如果需要新增接口就需要上下游对该新增的接口定义格式，重新针对该接口定制数据生成、校验、导入等功能模块，导致接口的扩展性、灵活性差，且众多接口间存在较多的共性部分，不能充分复用，造成计算机系统资源浪费。

另外，对于数据接收异常的情况，目前应用间没有实现统一的自动化反馈处理机制，一般需要依赖某些人工介入的处理流程实现跳过或数据重新接收。在数据交换非常频繁的情况下，可能会时常出现人工接管请求，而系统不能自适应处理，导致数据准确性和处理效率受到影响。

发明内容

本发明克服了现有数据传输同步技术中程序复用性弱、参数化程度低、无反馈机制等不足，提供一种复用性强、准确度高、可参数化配置、并基本实现主辅数据源间准实时的数据同步方法及其系统。

本发明的基于数据库服务间的通用数据同步系统包括：发送端供数控制装置，用于检测各个导出任务是否满足可供导出的条件，并执行满足条件的导出任务；发送端数据存储装置，用于存储发送端应用的系统数据、数据库程序及存放待发送的供数文件；文件传输装置，用于将发送端应用节点下，指定发送目录中的文件传送到接收端应用节点的指定接收目录；接收端文件检测装置，用于检测接收端数据存储装置的接收目录中是否有供数文件到达，若存在，则向待处理任务批次列表中登记各个文件的属性信息；接收端数据存储装置，用于存储接收端应用的系统数据及存放供数文件；接收端数据处理装置，用于提取接收端文件检测装置登记的待处理任务，执行装载导入。

本发明还提供了一种基于数据库服务间的通用数据同步方法，该方法包括：步骤1，发送端供数控制装置1取得并执行供数任务，将查询结果集按照设定模板的格式，生成数据文件；步骤2：文件检测装置4按照一定的文件名规则检测文件，若文件到则进行属性解析和登记，生成导入任务；步骤3：数据处理装置6获取待处理导入任务，将数据文件进行装载，按一定的规则校验通过后，向目标表进行导入。

应用本发明的本发明的基于数据库服务间的通用数据同步方法和系统，具有以下效果：有效地解决了新增接口的重复编制问题，减少了各类资源成本。通过本发明提供的方法，如果需要新增一项数据传输，只需要对数据同步任务及数据结构属性信息进行配置，即可实现上下游数据的自动同步，无需重新定制联机接口或文件生成、装载、导入等功能模块，极大地减少了工作量，并显著缩短了项目周期。满足了应用与应用之间准实时数据同步的需求，保证了数据准确性。

本发明以多线程轮询的形式进行定频、定时供数任务执行，实现了数据的准实时传输。对数据生成和还原流程进行不同程度的优化，能够稳定、高效地完成大数据量的同步工作。同时通过一定规则的校验，并配合数据异常重发请求机制，能够对数据还原的准确性有较强的保证。

附图说明

图1是本发明基于数据库服务间的通用数据同步系统的结构框图。

图2是本发明的供数控制装置结构示意图。

图3是本发明的数据处理装置结构示意图。

图4是本发明的发送端数据导出过程流程图。

图5是本发明的接收端文件检测过程流程图。

图6是本发明的接收端数据处理过程流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的基于数据库服务间的通用数据同步方法和系统的工作原理是：将数据传输同步过程中可复用的部分进行提取，并将个性化的部分转换为参数配置，采用上游应用表——文件——下游应用表的途径，实现数据同步。一般是将每张表的每种数据传输方式(增量、全量)分别作为一个传输任务，使用者可通过配置传输任务，在任务清单中设置上游应用的源数据表、下游应用的目的数据表、供数频率(供数频率描述的是两次同步之间的时间间隔，频率越高则实时性越强)、数据传输方式、模板等参数。通过设置任务清单，可以实现多种典型的同步方案，例如，日间定频率扫描源数据表，如有增量数据更新，则同步到下游应用的目的表，日终定时进行源表和目的表的全量同步。