[发明专利]数据割接方法及装置

说明书

本发明实施例提供一种数据割接方法及装置。该方法包括：将源数据库中的第一数据导入中间数据库，第一数据包括源数据库中在第一时刻之前的全部待割接数据；对导入中间数据库的第一数据进行数据清理和数据整合，生成第二数据；根据目标数据库的数据格式，将第二数据导入目标数据库；将源数据库中的第三数据导入中间数据库，第三数据包括源数据库中在第一时刻至当前时刻之间产生的全部待割接数据；根据第二数据，对导入中间数据库的第三数据进行数据去重，生成第四数据；根据目标数据库的数据格式，将第四数据导入目标数据库。本发明实施例的方法，实现了百亿级异构数据高效且准确的进行数据割接。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种数据割接方法及装置。

背景技术

在国家大力倡导科技创新、互联网+的形势下,电信行业的市场竞争也日益激烈。随着国际化市场逐渐打开，电信运营商需要向互联网+方向持续演进，以迎接电信运营业的国际化竞争，把握机遇，充分认识和发现互联网发展之规律，提高长远和可持续发展竞争力。

在新的形势下，电信运营商在向互联网+方向演进的过程中，为了对作为营销资源的号卡资源进行集中统一管控，需要建设号卡资源集中管理系统，对全国范围内的号卡资源进行管理。全国范围的号卡资源的数据量达到了百亿级，且营业系统的数据还在实时发生变化。早期在设计运营商数据管理系统时，数据库能够做的事，就不用人工写应用程序，避免人工出错，然而随着业务模式的不断变化，现有系统在设计时为了减轻数据库的压力，使数据库水平扩展更加容易，以增强核心应用能力，即人工能做的事尽量不让数据库来做。从数据库的角度来说，就是数据库的结构发生了改变，即需要进行数据割接的两个系统的数据结构不同。

如何确保百亿级异构数据割接的平稳、高效、有序、准确进行，是一个亟需解决的问题。

发明内容

本发明实施例提供一种数据割接方法及装置，用以解决百亿级异构数据割接中存在的问题。

第一方面，本发明实施例提供一种数据割接方法，包括：

将源数据库中的第一数据导入中间数据库，第一数据包括源数据库中在第一时刻之前的全部待割接数据；

对导入中间数据库的第一数据进行数据清理和数据整合，生成第二数据；

根据目标数据库的数据格式，将第二数据导入目标数据库；

将源数据库中的第三数据导入中间数据库，第三数据包括源数据库中在第一时刻至当前时刻之间产生的全部待割接数据；

根据第二数据，对导入中间数据库的第三数据进行数据去重，生成第四数据；

根据目标数据库的数据格式，将第四数据导入目标数据库。

在一种可能的实现方式中，源数据库包括多个子数据库，中间数据库包括多个实例；在将源数据库中的第一数据导入中间数据库之前还包括：

根据预设规则将多个子数据库在多个实例之间进行分配。

在一种可能的实现方式中，目标数据库为分布式数据库。

在一种可能的实现方式中，

根据目标数据库的数据格式，将第二数据导入目标数据库包括：

根据目标数据库的数据格式，对第二数据进行拆分，将拆分后的数据通过多个主机设备并行导入目标数据库；

根据目标数据库的数据格式，将第四数据导入目标数据库包括：

根据目标数据库的数据格式，对第四数据进行拆分，将拆分后的数据通过多个主机设备并行导入目标数据库。

第二方面，本发明实施例提供一种数据割接装置，包括：