[发明专利]分布式并行运算方法、装置、计算机设备及存储介质

权利要求书

1.一种分布式并行运算方法，其特征在于，包括：

将待计算原始数据保存至Hive数据库；

获取Hive数据库中预先存储的计算模型；

将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算，得到运算结果。

2.根据权利要求1所述的分布式并行运算方法，其特征在于，所述将待计算原始数据保存至Hive数据库，包括：

生成与待计算原始数据对应的表名，根据表名在Hive数据库对应建立存储表格；

读取待计算原始数据的每一张数据表，生成与每一张数据表一一对应的Sqoop脚本；

通过与每一张数据表一一对应的Sqoop脚本，将待计算原始数据保存至Hive数据库中的存储表格。

3.根据权利要求1所述的分布式并行运算方法，其特征在于，所述将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算之前，还包括：

将预先配置有相同主机名称、及Hadoop压缩包的终端进行联网并建立集群，得到Hadoop分布式计算框架。

4.根据权利要求1所述的分布式并行运算方法，其特征在于，所述获将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算，得到运算结果，包括：

将待计算原始数据输入至Hadoop分布式计算框架中的任务跟踪进程；

将待计算原始数据根据预设的分片数目进行分片，任务跟踪进程将分片后数据传输至Hadoop分布式计算框架中的任务处理进程；

任务处理进程对分片后数据对应进行map运算或reduce运算后，得到与分片后数据对应的运算结果。

5.根据权利要求4所述的分布式并行运算方法，其特征在于，所述任务处理进程对分片后数据对应进行map运算或reduce运算后，得到与分片后数据对应的运算结果之后，还包括；

将运算结果存储在Hadoop分布式计算框架中的分布式文件系统数据库。

6.一种分布式并行运算装置，其特征在于，包括：

数据保存单元，用于将待计算原始数据保存至Hive数据库；

计算模型获取单元，用于获取Hive数据库中预先存储的计算模型；

分布式运算单元，用于将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算，得到运算结果。

7.根据权利要求6所述的分布式并行运算装置，其特征在于，所述数据保存单元，包括：

存储表格建立单元，用于生成与待计算原始数据对应的表名，根据表名在Hive数据库对应建立存储表格；

脚本生成单元，用于读取待计算原始数据的每一张数据表，生成与每一张数据表一一对应的Sqoop脚本；

数据迁移单元，用于通过与每一张数据表一一对应的Sqoop脚本，将待计算原始数据保存至Hive数据库中的存储表格。

8.根据权利要求6所述的分布式并行运算装置，其特征在于，所述分布式运算单元，包括：

任务分发单元，用于将待计算原始数据输入至Hadoop分布式计算框架中的任务跟踪进程；

数据分片单元，用于将待计算原始数据根据预设的分片数目进行分片，任务跟踪进程将分片后数据传输至Hadoop分布式计算框架中的任务处理进程；

分片运算单元，用于任务处理进程对分片后数据对应进行map运算或reduce运算后，得到与分片后数据对应的运算结果。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的分布式并行运算方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的分布式并行运算方法。