[发明专利]基于分布式环境的张量CP分解实现方法

摘要

本发明公开了一种基于分布式环境的张量CP分解实现方法，基于ALS算法，对每次迭代过程中因子矩阵A(n)的更新，首先通过拆分Khatri‑Rao乘积的方式计算Y＝X(n)(A(N)⊙…⊙A(n+1)⊙A(n‑1)⊙…⊙A(1))，然后采用并行计算外积的方式计算最后将矩阵Y和矩阵V进行分块，采用Map操作将矩阵Y和矩阵V中对应的分块矩阵分发到Spark集群的主机上，采用Reduce操作进行矩阵乘法，然后再将乘法结果采用Map操作发送到一台主机上采用Reduce操作进行合并，得到A(n)＝YV。本发明基于MapReduce和Spark技术来实现张量CP分解，可以有效提高张量CP分解的效率。

主权项

1.一种基于分布式环境的张量CP分解实现方法，对于秩为R的N阶张量初始化N个因子矩阵A⁽ⁿ⁾，每次迭代时轮流更新的每个因子矩阵，计算时固定其他的因子矩阵不变，重复迭代直到目标函数的值为零或小于给定的阈值为止，此时的N个因子矩阵A⁽ⁿ⁾即为张量的CP分解结果，其中因子矩阵A⁽ⁿ⁾的更新公式为：

其特征在于，因子矩阵A⁽ⁿ⁾的更新采用以下方法：

S1：令集合D＝{1,2,…,N}‑{n}，将集合D中元素按升序排列，记第j个元素为d_j，j＝1,2,…,N‑1；令矩阵Y＝X_(n)(A^(N)⊙…⊙A⁽ⁿ⁺¹⁾⊙A^(n‑1)⊙…⊙A⁽¹⁾)，

S2：通过拆分Khatri‑Rao乘积的方式计算Y＝X_(n)(A^(N)⊙…⊙A⁽ⁿ⁺¹⁾⊙A^(n‑1)⊙…⊙A⁽¹⁾)，具体步骤包括：

S2.1：初始化秩序号r＝1；

S2.2：初始化j＝1，

S2.3：Map：按照mode‑d_j拆分得到张量的纤维，当n＞d_j，则以作为key，作为value，否则以作为key，作为value，进行map操作即可将张量的纤维分发到Spark集群的各台主机上；同时将因子矩阵的列向量的转置作为广播变量，分发到Spark集群的各台主机上；

S2.4：Reduce：Spark集群的每台主机在接收到为key，或为value的数据以及列向量后，由