[发明专利]一种在计算机集群上进行矩阵乘积运算的方法和系统

权利要求书

1.一种在计算机集群上进行矩阵乘积运算的方法，所述计算机集群上部署有分布式文件系统、用来执行映射Map任务和化简Reduce任务的多个计算节点，其特征在于，所述方法包括：在所述多个计算节点上执行第一Map任务、第一Reduce任务、第二Map任务和第二Reduce任务；其中，

所述第一Map任务从分布式文件系统读取第一矩阵和第二矩阵的行数据，并对所述行数据进行第一处理得到相应的第一键值对结果，并输出；

所述第一Reduce任务对所述第一键值对结果中相同主键的键值进行聚合，并将相应的聚合结果输出至分布式文件系统；

所述第二Map任务从分布式文件系统读取所述聚合结果，从所述聚合结果中识别得到第一矩阵和第二矩阵的元素，并对所述第一矩阵和第二矩阵的元素进行两两组合求乘积运算，将运算得到的第二键值对结果进行输出；其中，所述第二键值对结果的主键为乘积矩阵元素的行列号，键值为乘积矩阵元素的值；

所述第二Reduce任务对所述第二键值对结果中相同主键的键值进行求和，并将相应的求和结果作为乘积矩阵元素的值输出至分布式文件系统。

2.如权利要求1所述的方法，其特征在于，所述第一矩阵对应的第一键值对结果的键值包括第一标识、行坐标和元素值，所述第二矩阵对应的第一键值对结果的键值包括第二标识、列坐标和元素值；

则所述从所述聚合结果中识别得到第一矩阵和第二矩阵的元素的步骤进一步包括：

针对所述聚合结果中的键值，如果其包括第一标识则从中获取第一矩阵的元素，如果其包括第二标识则从中获取第二矩阵的元素。

3.如权利要求1所述的方法，其特征在于，所述第一矩阵对应的第一键值对结果的键值包括第一标识、行坐标和元素值，所述第二矩阵对应的第一键值对结果的键值包括第二标识、列坐标和元素值；

则所述对所述第一矩阵和第二矩阵的元素进行两两组合求乘积运算的步骤进一步包括：

以所述第一矩阵的元素对应的行坐标为关键字，将所述第一矩阵的元素存放至第一存储结构；

以所述第二矩阵的元素对应的列坐标为关键字，将所述第二矩阵的元素存放至第二存储结构；

对所述第一存储结构和第二存储结构中的元素进行两两组合求乘积运算，得到相应的第二键值对结果，其中，以两个元素对应的关键字共同作为所述第二键值对结果的主键，以两个元素的乘积作为所述第二键值对结果的键值。

4.如权利要求1所述的方法，其特征在于，所述从分布式文件系统读取第一矩阵和第二矩阵的行数据的步骤进一步包括：

每读入一行数据，获取分布式文件系统的环境变量，并依据该环境变量确定该行数据来自第一矩阵还是第二矩阵。

5.如权利要求2或3所述的方法，其特征在于，所述对所述行数据进行第一处理得到相应的第一键值对结果的步骤进一步包括：

针对第一矩阵的行数据中的元素，以其列坐标为主键，以其第一标识、行坐标和元素值为键值；

针对第二矩阵的行数据中的元素，以其行坐标为主键，以其第二标识、列坐标和元素值为键值；所述第一键值对结果中存储有第一矩阵和第二矩阵的主键和键值。

6.如权利要求1至4中任一项所述的方法，其特征在于，所述计算机集群上还部署有作业服务器，所述作业服务器用于将所述第一Map任务、第一Reduce任务、第二Map任务和第二Reduce任务分配到所述多个计算节点；

则所述方法还包括：

在所述多个计算节点上执行所述作业服务器分配的第一Map任务；

在所述多个计算节点上执行所述作业服务器分配的第一Reduce任务；

在所述多个计算节点上执行所述作业服务器分配的第二Map任务；

在所述多个计算节点上执行所述作业服务器分配的第二Reduce任务。