[发明专利]数据批量加载方法及装置

权利要求书

1.一种数据批量加载方法，其特征在于，所述数据批量加载方法包括：

确定待数据加载的分布式数据库对应的数据表结构信息；

根据确定的所述数据表结构信息将待加载的预设格式的文件解析为该分布式数据库对应格式的本地文件；

将解析的所述本地文件批量加载至所述分布式数据库中。

2.如权利要求1所述的数据批量加载方法，其特征在于，所述确定待数据加载的分布式数据库对应的数据表结构信息的步骤包括：

定时或者在收到数据批量加载指令后，根据预先确定的分布式数据库与数据表结构信息的映射关系，确定待数据加载的分布式数据库对应的数据表结构信息。

3.如权利要求1所述的数据批量加载方法，其特征在于，所述数据表结构信息包括字段名称、类型、索引字段及/或主键字段，所述预设格式的文件为文本文件，所述根据确定的所述数据表结构信息将待加载的预设格式的文件解析为该分布式数据库对应格式的本地文件的步骤包括：

利用预先确定的分隔符对待加载的预设格式的文件中的文本内容按照数据表结构信息类型进行分隔；

将分隔后的文本内容按照所述分布式数据库对应的表结构，生成所述分布式数据库对应格式的本地文件。

4.如权利要求1至3任一项所述的数据批量加载方法，其特征在于，所述数据批量加载方法还包括：

实时或者定时侦测所述分布式数据库的预设类型负载数据；

若侦测的负载数据大于对应的预设阈值，则禁止将解析的所述本地文件批量加载至所述分布式数据库中；

若侦测的负载数据小于或者等于对应的预设阈值，则允许将解析的所述本地文件批量加载至所述分布式数据库中。

5.如权利要求1至3任一项所述的数据批量加载方法，其特征在于，所述数据批量加载方法还包括：

实时或者定时侦测所述分布式数据库的待加载数据量；

若侦测的待加载数据量大于预设数量，则禁止确定所述数据表结构信息以及禁止根据确定的所述数据表结构信息解析生成所述本地文件；

若侦测的待加载数据量小于或者等于预设数量，则允许确定所述数据表结构信息以及允许根据确定的所述数据表结构信息解析生成所述本地文件。

6.一种数据批量加载装置，其特征在于，所述数据批量加载装置包括数据解析模块和批量加载模块；

所述数据解析模块用于确定待数据加载的分布式数据库对应的数据表结构信息；

所述数据解析模块还用于根据确定的所述数据表结构信息将待加载的预设格式的文件解析为该分布式数据库对应格式的本地文件；

所述批量加载模块用于将解析的所述本地文件批量加载至所述分布式数据库中。

7.如权利要求6所述的数据批量加载装置，其特征在于，所述数据解析模块还用于定时或者在收到数据批量加载指令后，根据预先确定的分布式数据库与数据表结构信息的映射关系，确定待数据加载的分布式数据库对应的数据表结构信息。

8.如权利要求6所述的数据批量加载装置，其特征在于，所述数据表结构信息包括字段名称、类型、索引字段及/或主键字段，所述预设格式的文件为文本文件，所述数据解析模块包括：

分隔单元，用于利用预先确定的分隔符对待加载的预设格式的文件中的文本内容按照数据表结构信息类型进行分隔；

生成单元，用于将分隔后的文本内容按照所述分布式数据库对应的表结构，生成所述分布式数据库对应格式的本地文件。

9.如权利要求6至8任一项所述的数据批量加载装置，其特征在于，所述数据批量加载装置还包括第一加载控制模块，所述第一加载控制模块用于实时或者定时侦测所述分布式数据库的预设类型负载数据；

若侦测的负载数据大于对应的预设阈值，且所述批量加载模块处于启用状态，则所述第一加载控制模块关闭所述批量加载模块；

若侦测的负载数据小于或者等于对应的预设阈值，且所述批量加载模块处于关闭状态，则所述第一加载控制模块启用所述批量加载模块。

10.如权利要求6至8任一项所述的数据批量加载装置，其特征在于，所述数据批量加载装置还包括第二加载控制模块，所述第二加载控制模块用于实时或者定时侦测所述分布式数据库的待加载数据量；

若侦测的待加载数据量大于预设数量，且所述数据解析模块处于启用状态，则所述第二加载控制模块关闭所述数据解析模块；

若侦测的负载数据小于或者等于对应的预设阈值，且所述数据解析模块处于关闭状态，则所述第二加载控制模块启用所述数据解析模块。