[发明专利]基于文本的相似度确定方法、装置及计算机设备有效
申请号: | 201810015523.1 | 申请日: | 2018-01-08 |
公开(公告)号: | CN108304490B | 公开(公告)日: | 2020-12-15 |
发明(设计)人: | 周涛;李百川;李展铿 | 申请(专利权)人: | 有米科技股份有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/33;G06F16/335;G06K9/62 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 冯右明 |
地址: | 511400 广东省广州市番*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 文本 相似 确定 方法 装置 计算机 设备 | ||
1.一种基于文本的用户相似度确定方法,其特征在于,包括以下步骤:
获取候选用户的历史网络浏览记录,根据所述历史网络浏览记录得到所述候选用户对应的文本集合;
获取预先计算的所述文本集合中各文本落入参考用户对应的文本集合的条件概率;
根据所述候选用户对应的文本集合以及其中各文本的条件概率,得到所述候选用户对应的第一文本特征向量;所述第一文本特征向量中包括所述候选用户对应的文本集合以及各文本的条件概率;
将所述候选用户的第一文本特征向量输入预先训练的随机森林模型,根据所述随机森林模型的输出得到所述候选用户与参考用户的相似度值;其中,所述预先训练的随机森林模型是根据样本用户对应的训练文本特征向量对随机森林模型进行训练得到的;所述训练文本特征向量为根据样本用户集的文本信息计算各个文本对应的条件概率,得到第二文本特征向量;分别选取所述第二文本特征向量中按条件概率值大小排序在前的多个文本特征向量和排序在后的多个文本特征向量,作为所述样本用户对应的训练文本特征向量。
2.根据权利要求1所述的基于文本的用户相似度确定方法,其特征在于,所述将所述候选用户的第一文本特征向量输入预先训练的随机森林模型的步骤之前,还包括:
构建样本用户集,所述样本用户集中包括参考用户以及非参考用户;
获取样本用户集中各样本用户的历史网络浏览记录,得到各样本用户对应的文本集合;计算各样本用户的文本集合中各文本的所述条件概率;根据各样本用户对应的文本集合以及其中各文本的条件概率,得到样本用户集中各样本用户对应的第二文本特征向量;
从所述第二文本特征向量中选取多个文本特征向量作为对应样本用户的训练文本特征向量;根据所述训练文本特征向量对随机森林模型进行训练。
3.根据权利要求1至2任一项所述的基于文本的用户相似度确定方法,其特征在于,所述根据所述历史网络浏览记录得到所述候选用户对应的文本集合的步骤,包括:
根据所述历史网络浏览记录得到所述候选用户对应的词语,去除所述词语中的停用词,得到所述候选用户对应的文本集合。
4.根据权利要求3所述的基于文本的用户相似度确定方法,其特征在于,所述获取预先计算的所述文本集合中各文本落入参考用户对应的文本集合的条件概率的步骤之前,还包括:
获取所述文本集合中各个词语的词频特征,根据所述词频特征分别计算各个词语落入参考用户对应的文本集合的条件概率。
5.根据权利要求4所述的基于文本的用户相似度确定方法,其特征在于,通过如下公式计算各个词语落入参考用户对应的文本集合的条件概率:
其中,y为文本集合标签,0表示候选用户对应的文本集合,1表示参考用户对应的文本集合;i为词语的标识,表示第i个词语,词语总共有n个;θyi是第i个词语在文本集合y中出现的频繁度;Nyi表示第i个词语在文本集合y中出现的次数,Ny为所有词语在文本集合y中出现的次数;α为预设的平滑因子;λi是在第i个词语落入参考用户对应的文本集合的概率。
6.根据权利要求1所述的基于文本的用户相似度确定方法,其特征在于,所述将所述候选用户的第一文本特征向量输入预先训练的随机森林模型,根据所述随机森林模型的输出得到所述候选用户与参考用户的相似度值的步骤之后,还包括:
若所述候选用户对应的相似度值高于预设的阈值,则所述候选用户为所述参考用户的相似用户。
7.根据权利要求1所述的基于文本的用户相似度确定方法,其特征在于,所述随机森林中的投票函数为:
其中,H(x)为投票函数;x为输入的文本特征向量;h为决策树,t为第t棵树,所述随机森林中总共有T颗树。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于有米科技股份有限公司,未经有米科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810015523.1/1.html,转载请声明来源钻瓜专利网。