[发明专利]向量相似度的分布式计算方法和装置，存储介质和节点

说明书

本公开涉及一种向量相似度的分布式计算方法和装置，存储介质和节点，以解决相关技术中向量相似度计算效率低下的问题。所述方法应用于任一计算节点，包括：该计算节点接收其他计算节点分发的与该计算节点存储的元素同一行的元素，得到所述目标矩阵中所述元素所在的行向量；计算该行向量的转置向量与该行向量的乘积，得到中间矩阵；并将自身计算得到的每一中间矩阵广播到其他计算节点上；该计算节点在接收到其他计算节点发送的其他行向量对应的中间矩阵后，将接收到的所述中间矩阵与自身计算得到的每一中间矩阵相加，得到内积矩阵；根据所述内积矩阵中的每一元素计算所述目标矩阵中两两列向量之间的相似度。

技术领域

本公开涉及数据处理技术领域，具体地，涉及一种向量相似度的分布式计算方法和装置，存储介质和节点。

背景技术

相似度计算是大数据中常见问题，在聚类分群，搜索引擎，推荐算法等领域都有应用。现有技术中，海量向量数据是在多个计算节点上存储的，在节点分布式计算向量两两相似度前，各计算节点之间需要互相分发数据，每一计算节点获取到所有的向量之后，才能进行两两相似度计算。

但是，在大数据场景中动辄千万至亿级别的向量，计算向量两两之间的相似度的复杂度为O(m*n²)，其中n是向量的个数，m为向量长度，各节点之间分发数据的代价巨大，导致计算时间过长。

发明内容

本公开的主要目的是提供一种向量相似度的分布式计算方法和装置，存储介质和节点，以解决相关技术中向量相似度计算效率低下的问题。

为了实现上述目的，本公开第一方面提供一种向量相似度的分布式计算方法，所述方法用于对目标矩阵中列向量的两两相似度进行计算，其中，所述目标矩阵中的元素分布在多个计算节点上，所述方法应用于任一所述计算节点，包括：

该计算节点接收其他计算节点分发的与该计算节点存储的元素同一行的元素，得到所述目标矩阵中所述元素所在的行向量；

计算该行向量的转置向量与该行向量的乘积，得到中间矩阵；并

将自身计算得到的每一中间矩阵广播到其他计算节点上；

该计算节点在接收到其他计算节点发送的其他行向量对应的中间矩阵后，将接收到的所述中间矩阵与自身计算得到的每一中间矩阵相加，得到内积矩阵，其中，所述内积矩阵中的第i行第j列元素表示所述目标矩阵中第i列向量和第j列向量的内积；

根据所述内积矩阵中的每一元素计算所述目标矩阵中两两列向量之间的相似度。

可选地，所述方法还包括：该计算节点将自身存储的元素分发到其他计算节点。

可选地，所述计算该行向量的转置向量与该行向量的乘积，得到中间矩阵，包括：

针对任一行向量a₁＝[k₁,k₂……k_n]，通过如下方式计算得到所述中间矩阵V1中的第i行第j列元素：

可选地，所述方法还包括：

获取同一类别的每一网络对象的列向量，得到向量集合；

对所述向量集合中的所有列向量进行聚类，得到多个类簇；

所述目标矩阵是任一所述类簇中的列向量组成的矩阵。

可选地，所述对所述向量集合中的所有列向量进行聚类，得到多个类簇，包括：

根据第一定义方式定义的向量距离对所述向量集合中的所有列向量进行聚类；

所述根据所述内积矩阵中的每一元素计算所述目标矩阵中两两列向量之间的相似度，包括：