[发明专利]分布式计算系统、方法及存储介质有效
| 申请号: | 201710327494.8 | 申请日: | 2017-05-10 |
| 公开(公告)号: | CN108874529B | 公开(公告)日: | 2022-05-13 |
| 发明(设计)人: | 谭蕴琨;余乐;刘煜宏;蒋杰 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06F9/50 | 分类号: | G06F9/50 |
| 代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 张振伟;张颖玲 |
| 地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分布式 计算 系统 方法 存储 介质 | ||
1.一种分布式计算系统,其特征在于,包括:
至少两个计算节点和至少两个参数服务节点;其中,
所述计算节点,用于根据训练数据的子集包括的用户,初始化用户矩阵中对应所述用户的向量,得到由所初始化的向量构成的用户子矩阵;
所述计算节点,用于根据所述训练数据的子集、从所述参数服务节点获取的项目子矩阵,迭代计算所述用户子矩阵、以及所述项目子矩阵,将每次迭代计算之后得到的项目子矩阵传输至相应的参数服务节点;
所述参数服务节点,用于初始化部分项目对应的向量,得到由所初始化的向量构成的项目子矩阵,所述部分项目为所述训练数据包括的项目中的部分项目;其中,不同的参数服务节点存储的项目子矩阵对应的项目不同;
所述参数服务节点,用于根据所述计算节点传输的项目子矩阵,更新所述参数服务节点所存储的项目子矩阵。
2.如权利要求1所述的分布式计算系统,其特征在于,还包括:
控制节点,用于以用户为维度,划分所述训练数据包括的针对多个所述项目的评分,得到所述训练数据的多个子集,将所述多个子集分配给所述至少两个计算节点。
3.如权利要求1所述的分布式计算系统,其特征在于,还包括:
控制节点,用于当所述计算节点迭代计算的中止条件满足时,组合各所述计算节点存储的用户子矩阵,得到用户矩阵;组合各所述参数服务节点存储的项目子矩阵,得到项目矩阵;
所述控制节点,还用于根据所述用户矩阵中对应目标用户的向量,与所述项目矩阵中对应目标项目的向量的乘积,得到所述目标用户针对所述目标项目的评分。
4.如权利要求1所述的分布式计算系统,其特征在于,
所述计算节点,具体用于根据所分配到的所述子集,确定所述子集中包括的已评分项目,从所述参数服务节点存储的所述项目子矩阵中,获取所述已评分项目对应的向量;
所述计算节点,具体用于迭代计算所述用户子矩阵中部分用户对应的向量、以及所述项目子矩阵中对应所述已评分项目的向量,所述部分用户为所述子集包括的用户中针对所述已评分项目产生评分行为的用户;
所述计算节点,具体用于将每次迭代计算后得到的与所述已评分项目对应的向量,传输至相应的参数服务节点。
5.如权利要求4所述的分布式计算系统,其特征在于,
所述计算节点,具体用于从所述参数服务节点存储的所述项目子矩阵中,分批次获取所述已评分项目对应的向量;
所述计算节点,具体用于迭代计算所述用户子矩阵中相应批次用户对应的向量、以及相应批次的已评分项目对应的向量,所述相应批次用户为所述部分用户中针对所述批次的已评分项目产生评分行为的用户;
所述计算节点,具体用于将每次迭代计算后得到的与相应批次的已评分项目对应的向量,传输至相应的参数服务节点。
6.如权利要求5所述的分布式计算系统,其特征在于,
所述计算节点,还用于根据所述计算节点的内存空间,确定所述批次的数量,其中,每个所述批次的已评分项目对应的向量占用的存储空间,小于所述计算节点的内存空间。
7.如权利要求4所述的分布式计算系统,其特征在于,
所述参数服务节点,具体用于根据所述计算节点传输的与所述已评分项目对应的向量,更新所述参数服务节点存储的所述项目子矩阵。
8.如权利要求1至7任一项所述的分布式计算系统,其特征在于,
所述计算节点,具体用于将评分预测值与所述训练数据的子集中包括的评分实际值作差,得到预测差值;
所述计算节点,具体用于将所述预测差值与所述项目子矩阵的乘积,与所述用户子矩阵叠加,得到更新的用户子矩阵;
所述计算节点,具体用于将所述预测差值与所述更新的用户子矩阵的乘积,与所述项目子矩阵叠加,得到更新的项目子矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710327494.8/1.html,转载请声明来源钻瓜专利网。





