[发明专利]一种基于多进程的数据加载方法及装置

权利要求书

1.一种基于多进程的数据加载方法，其特征在于，包括：

根据预先构建的SQL语句解析获取的数据文件；

对解析后的所述数据文件中的数据进行清洗并插入测试表中；

通过调用数据库驱动的批量执行函数对所述测试表中的数据进行批量加载。

2.根据权利要求1所述的基于多进程的数据加载方法，其特征在于，所述根据预先构建的SQL语句解析获取的数据文件，包括：

对所述SQL语句进行共享池检查；

如果共享池检查结果中存在已经解析的SQL语句，则对所述数据文件进行软解析；

如果共享池检查结果中不存在已经解析的SQL语句，则对所述数据文件进行硬解析。

3.根据权利要求2所述的基于多进程的数据加载方法，其特征在于，所述对所述SQL语句进行共享池检查，包括：

获取所述SQL语句的哈希值；

从共享池中搜索是否已经存在所述哈希值。

4.根据权利要求3所述的基于多进程的数据加载方法，其特征在于，所述对解析后的所述数据文件中的数据进行清洗并插入测试表中，包括：

创建测试表，所述测试表中包含若干字段；

根据所述字段构建复合索引；

通过所述复合索引将所述数据文件插入所述测试表。

5.根据权利要求2所述的基于多进程的数据加载方法，其特征在于，还包括：

如果共享池检查结果中存在已经解析的SQL语句时，检查SQL语句中的数据库对象是否存在。

6.根据权利要求2所述的基于多进程的数据加载方法，其特征在于，还包括：

如果共享池检查结果中存在已经解析的SQL语句时，对所述SQL语句进行环境检查。

7.根据权利要求1或2中任一项所述的基于多进程的数据加载方法，其特征在于，还包括：

对预先构建的SQL语句进行语法检查。

8.一种基于多进程的数据加载装置，其特征在于，包括：

数据文件获取单元，用于根据预先构建的SQL语句解析获取的数据文件；

插入单元，用于对解析后的所述数据文件中的数据进行清洗并插入测试表中；

批量加载单元，用于通过调用数据库驱动的批量执行函数对所述测试表中的数据进行批量加载。

9.根据权利要求8所述的基于多进程的数据加载装置，其特征在于，所述数据文件获取单元包括：

共享池检查模块，用于对所述SQL语句进行共享池检查；

软解析模块，用于如果共享池检查结果中存在已经解析的SQL语句，则对所述数据文件进行软解析；

硬解析模块，用于如果共享池检查结果中不存在已经解析的SQL语句，则对所述数据文件进行硬解析。

10.根据权利要求9所述的基于多进程的数据加载装置，其特征在于，所述共享池检查模块包括：

哈希值计算模块，用于获取所述SQL语句的哈希值；

哈希值搜索模块，用于从共享池中搜索是否已经存在所述哈希值。

11.根据权利要求10所述的基于多进程的数据加载装置，其特征在于，所述插入单元包括：

测试表创建模块，用于创建测试表，所述测试表中包含若干字段；

复合索引构建模块，用于根据所述字段构建复合索引；

插入模块，用于通过所述复合索引将所述数据文件插入所述测试表。

12.根据权利要求9所述的基于多进程的数据加载装置，其特征在于，还包括：

语义检查模块，用于如果共享池检查结果中存在已经解析的SQL语句时，检查SQL语句中的数据库对象是否存在。