[发明专利]基于大数据的数据入库方法、装置、存储介质和处理器

权利要求书

1.一种基于大数据的数据入库方法，其特征在于，包括：

采用分布式列存储数据库与分布式检索引擎建立基础存储数据库，所述分布式列存储数据库用于存储原始数据，所述分布式检索引擎用于存储原始数据的索引信息；

根据所述基础存储数据库中的数据存储结构和数据存储格式，构建数据表；

使用配置库的方式动态管理所述数据表；

基于所述数据表进行数据入库；

根据所述基础存储数据库中的数据存储结构和数据存储方式，构建数据表，包括：

将所述基础存储数据库中的数据存储格式调整为预定数据存储格式；

根据所述预定数据存储格式将所述基础存储数据库中的所述数据存储结构调整为预定数据存储结构；

根据所述预定数据存储结构和所述预定数据存储格式，构建所述数据表；

根据所述预定数据存储格式将所述基础存储数据库中的所述数据存储结构调整为预定数据存储结构之前，根据所述基础存储数据库中的数据存储结构和数据存储方式，构建数据表，还包括：

自动识别所述基础存储数据库中的所述预定数据存储格式。

2.根据权利要求1所述的入库方法，其特征在于，使用配置库的方式动态管理所述数据表，包括：

采用所述配置库的xml的插件化功能，动态管理所述数据表。

3.根据权利要求1所述的入库方法，其特征在于，所述索引信息为所述原始数据的主键，所述主键是所述原始数据的唯一标识，所述主键由所述原始数据的生成日期、所述原始数据的编码值和所述原始数据的哈希值组成。

4.根据权利要求1所述的入库方法，其特征在于，所述预定数据存储格式包括至少以下之一：

时间格式、年龄格式、姓名格式。

5.根据权利要求1至4中任一项所述的入库方法，其特征在于，所述数据存储结构包括至少以下之一：第一数据存储结构和第二数据存储结构，其中，所述第一数据存储结构为人的信息所对应的所述数据存储结构，所述第一数据存储结构由姓名信息、年龄信息以及籍贯信息组成，所述第二数据存储结构为公司的信息所对应的所述数据存储结构，所述第二数据存储结构由法人信息、公司位置信息以及公司年收入信息组成。

6.一种基于大数据的数据入库装置，其特征在于，包括：

建立单元，用于采用分布式列存储数据库与分布式检索引擎建立基础存储数据库，所述分布式列存储数据库用于存储原始数据，所述分布式检索引擎用于存储原始数据的索引信息；

优化单元，用于根据所述基础存储数据库中的数据存储结构和数据存储格式，构建数据表；

管理单元，用于使用配置库的方式动态管理所述数据表；

入库单元，用于基于所述数据表进行数据入库；

所述优化单元包括第一调整模块、第二调整模块和构建模块，其中，所述第一调整模块用于将所述基础存储数据库中的数据存储格式调整为预定数据存储格式；所述第二调整模块用于根据所述预定数据存储格式将所述基础存储数据库中的所述数据存储结构调整为预定数据存储结构；所述构建模块用于根据所述预定数据存储结构和所述预定数据存储格式，构建所述数据表；

所述优化单元还包括识别模块，所述识别模块用于根据预定数据存储格式将所述基础存储数据库中的所述数据存储结构调整为预定数据存储结构之前，自动识别所述基础存储数据库中的所述预定数据存储格式。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的入库方法。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的入库方法。