[发明专利]数据快速变更方法、系统及相关设备

说明书

本公开提供了一种数据快速变更方法、系统及相关设备，涉及通信技术领域，该方法包括：解析原始全量网络数据得到原始库数据；同步原始库数据至业务库数据；将采集的每批次全量数据作为临时数据与原始库数据进行比对；根据比对结果对原始库数据进行相应变更操作；将原始库数据的所有变更操作形成日志记录；以及根据日志记录对业务库数据执行变更操作。本公开实施例的方法通过减小业务库处理的数据量，提高了海量数据的更新效率，提升了数据质量。进一步地，通过增量数据更新的方式，大大降低了原始库与业务库之间的全量文件同步的周期，降低了业务数据库的负载与压力。

背景技术

在传输网络数字化平台的建设中，物理网络的数据在数字化平台中的还原有以下两个特点。首先，是数据的海量特性，以端口为例，根据传输网络数据的建模，光传输网物理端口下的逻辑端口作为连接终端点，体现了物理端口的潜在业务能力，一个SDH物理端口下所属的逻辑端口数可达到3000多个。对于超大规模的网络数字化平台建设，物理端口达千万级，纳管的设备逻辑端口数量巨大，达到十亿级。其次，是对数据准确性与实时性的要求，逻辑端口是传输网数字化运营中不可获缺的模型对象，它体现了SNC分层模型中不同层次路径的连接与终结关系，体现了告警、性能等重要运营数据的具体挂接点，需要实时准确地将物理网络中逻辑端口的变更情况还原到数字化平台中。

全量数据比对更新是数据还原的一个重要手段，它将从物理网络采集到的全量数据和数字化平台中的数据进行全量比对，并根据比对结果进行更新。全量数据比对涉及的数据范围大，耗时长，如何解决海量数据的快速更新成为需要解决的问题。同时，全量数据更新的动作对数据库的资源占用消耗较大，对生产业务的使用可能造成较大的影响。如何尽量减小全量数据比对对业务数据库的影响是需要解决的另一个问题。

因此需要设计一种数据快速变更的方法和系统，解决传输网络海量数据变更中的上述问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据快速变更方法、系统、计算机可读存储介质及电子设备，以至少解决相关技术中全量数据比对涉及的数据范围大、耗时长以及全量数据变更的操作对数据库的资源占用消耗较大，对业务数据库造成较大影响的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

本公开的技术方案如下：

根据本公开的一个方面，提供一种数据快速变更方法，该方法包括：解析原始全量网络数据得到原始库数据；同步原始库数据至业务库数据；将采集的每批次全量数据作为临时数据与原始库数据进行比对；根据比对结果对原始库数据进行相应变更操作；将原始库数据的所有变更操作形成日志记录；以及根据日志记录对所述业务库数据执行变更操作。

在本公开的一些实施例中，解析原始全量网络数据得到原始库数据的步骤包括：获取原始全量网络数据源网元的标识信息；根据标识信息确定存储分区数量；将网元唯一标识通过该算法映射到一个哈希散列值；以及根据原始全量网络数据所属的网元所映射的哈希值，存储到固定的分区得到原始库数据。

在本公开的一些实施例中，将采集的每批次全量数据作为临时数据与原始库数据进行比对的步骤包括：将采集的每批次全量数据作为临时数据和原始库数据按逐个分区进行数据比对。

在本公开的一些实施例中，根据日志记录对业务库数据执行变更操作的步骤包括：将日志记录发送至消息中间件；订阅消息中间件上的变更消息主题，接收数据变更消息，并逐条根据消息对业务库数据执行变更操作。

在本公开的一些实施例中，同步原始库数据至业务库数据的步骤包括：定期导出原始库的全量网络数据；解析全量网络数据并保存至业务库。