[发明专利]数据批量加载方法及装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据批量加载方法及装置。

背景技术

随着移动互联网技术及应用的不断发展，作为移动通信技术领域的主要环节：核心网子系统，其在生产过程中产生海量数据。从应用角度，如何应用及/或挖掘海量数据的价值，存在以下几方面的挑战：(1)根据精益化理念，挖掘用户潜在的需求；(2)从海量数据中提供用户记录的即席查询；(3)随着应用的快速发展，建立可动态扩展的大数据技术架构。而采用大数据技术，可解决核心网子系统海量数据的分析挖掘与即席查询等问题。然而，核心网子系统海量数据若采用现有的API(Application Programming Interface，应用程序编程接口)或者批量数据加载方法接入大数据系统进行存储，将无法实现海量数据的灵活、高吞吐量的性能要求，进而影响移动核心网子系统的业务应用。

发明内容

本发明的主要目的在于提供一种数据批量加载方法及装置，旨在实现海量数据的快速加载，提高海量数据加载的自适应性和灵活性。

为实现上述目的，本发明提供的数据批量加载方法包括以下步骤：

确定待数据加载的分布式数据库对应的数据表结构信息；

根据确定的所述数据表结构信息将待加载的预设格式的文件解析为该分布式数据库对应格式的本地文件；

将解析的所述本地文件批量加载至所述分布式数据库中。

优选地，所述确定待数据加载的分布式数据库对应的数据表结构信息的步骤包括：

定时或者在收到数据批量加载指令后，根据预先确定的分布式数据库与数据表结构信息的映射关系，确定待数据加载的分布式数据库对应的数据表结构信息。

优选地，所述数据表结构信息包括字段名称、类型、索引字段及/或主键字段，所述预设格式的文件为文本文件，所述根据确定的所述数据表结构信息将待加载的预设格式的文件解析为该分布式数据库对应格式的本地文件的步骤包括：

利用预先确定的分隔符对待加载的预设格式的文件中的文本内容按照数据表结构信息类型进行分隔；

将分隔后的文本内容按照所述分布式数据库对应的表结构，生成所述分布式数据库对应格式的本地文件。

优选地，所述数据批量加载方法还包括：

实时或者定时侦测所述分布式数据库的预设类型负载数据；

若侦测的负载数据大于对应的预设阈值，则禁止将解析的所述本地文件批量加载至所述分布式数据库中；

若侦测的负载数据小于或者等于对应的预设阈值，则允许将解析的所述本地文件批量加载至所述分布式数据库中。

优选地，所述数据批量加载方法还包括：

实时或者定时侦测所述分布式数据库的待加载数据量；

若侦测的待加载数据量大于预设数量，则禁止确定所述数据表结构信息以及禁止根据确定的所述数据表结构信息解析生成所述本地文件；

若侦测的待加载数据量小于或者等于预设数量，则允许确定所述数据表结构信息以及允许根据确定的所述数据表结构信息解析生成所述本地文件。

此外，为实现上述目的，本发明还提供一种数据批量加载装置，所述数据批量加载装置包括数据解析模块和批量加载模块；

所述数据解析模块用于确定待数据加载的分布式数据库对应的数据表结构信息；

所述数据解析模块还用于根据确定的所述数据表结构信息将待加载的预设格式的文件解析为该分布式数据库对应格式的本地文件；

所述批量加载模块用于将解析的所述本地文件批量加载至所述分布式数据库中。

优选地，所述数据解析模块还用于定时或者在收到数据批量加载指令后，根据预先确定的分布式数据库与数据表结构信息的映射关系，确定待数据加载的分布式数据库对应的数据表结构信息。

优选地，所述数据表结构信息包括字段名称、类型、索引字段及/或主键字段，所述预设格式的文件为文本文件，所述数据解析模块包括：

分隔单元，用于利用预先确定的分隔符对待加载的预设格式的文件中的文本内容按照数据表结构信息类型进行分隔；

生成单元，用于将分隔后的文本内容按照所述分布式数据库对应的表结构，生成所述分布式数据库对应格式的本地文件。

优选地，所述数据批量加载装置还包括第一加载控制模块，所述第一加载控制模块用于实时或者定时侦测所述分布式数据库的预设类型负载数据；

若侦测的负载数据大于对应的预设阈值，且所述批量加载模块处于启用状态，则所述第一加载控制模块关闭所述批量加载模块；