[发明专利]一种基于局部敏感哈希算法的相似人群的扩展方法

说明书

本发明提供一种基于局部敏感哈希算法的相似人群的扩展算法，通过采用开源工具datasketch对原始数据特征进行计算，以获得所述全体用户的特征向量的加权最小哈希，可以大大减少运算量，提升了运算速度和准确性的同时，降低计算成本；还使用开源工具datasketch构建的局部敏感哈希模型，可以根据存储器的内存大小及计算精确度的要求获得，使得局部敏感哈希模型的准确性高。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于局部敏感哈希算法的相似人群的扩展算法。

背景技术

在数字营销中，如何快速、精准地找到目标客户群是互联网时代富有挑战的一项工作。相似人群的扩展(Look-alike)是从种子用户出发寻找最相似的人群算法的统称，其作为广告投放领域中一类重要的算法，可以帮助广告主高效地定位营销人群。

常见的Look-alike算法思路具体如下：第一种，基于简单的相似度计算，比如Cosine(连续值)或者Jaccard(01值)，通过计算两两用户的相似度，从种子用户出发寻找相似的用户，该方法逻辑简单，但计算量大，使得其计算成本高，且计算准确性较差。第二种，基于逻辑回归进行有监督的二分类预测的方法，这种方法只需要线性的计算量，在线预测时算法复杂度较低，但是这一种方法存在负样本取样难、冷启动难等问题，造成计算准确性较差。第三种，基于segment的近似搜索系统，即对用户打标签，通过标签聚合用户群体并给出候选的营销对象，成熟的标签系统可以带来较好的营销效果，而且在线应用时非常简单和快速，但是这种系统需要花费大量资源来预先挖掘标签，同时该系统的后期维护和改进的成本都相对较高，计算准确性较差。

发明内容

本发明的目的在于，提供一种基于局部敏感哈希算法的相似人群的扩展算法，可以提高相似人群的扩展算法的高效性和准确性的同时，降低计算成本。

为了解决上述问题，本发明提供一种基于局部敏感哈希算法的相似人群的扩展算法，包括以下步骤：

步骤S1：根据返利网已有的用户画像准备全体用户的原始数据特征；

步骤S2：根据所述原始数据特征使用开源工具datasketch计算出所述全体用户的特征向量的加权最小哈希，以及构建局部敏感哈希模型，以获得LSH索引；

步骤S3：输入种子用户ID，根据所述原始数据特征得到所述种子用户的数据特征；

步骤S4：根据所述LSH索引获得与所述种子用户的数据特征相似的候选用户ID及候选用户的数据特征，接着对所述候选用户的各数据特征进行打分，以获得候选用户的每个数据特征的分数；

步骤S5：计算出所述种子用户的数据特征的重要程度；

步骤S6：根据所述重要程度及所述分数计算所述候选用户的得分；以及

步骤S7：对所述得分进行排序，并根据所述排序得到最终的目标用户。

可选的，步骤S1包括：

获取返利网已有的用户画像，根据所述用户画像得到全员用户的原始数据特征，其中，所述原始数据特征包括用户的类目偏好、品牌等级偏好、购物性别偏好、购物年龄段偏好、商城偏好、购买力、优惠敏感度、地域和手机os；

对所述原始数据特征进行数据预处理；以及

通过稀疏矩阵将经过数据预处理所得到的数据进行数据拼接。

进一步的，对所述原始数据特征进行数据预处理包括：

将所述原始数据特征分为分值数据和分类数据，其中，所述分值数据包括品牌等级偏好、优惠敏感度和购买力，所述分类数据包括类目偏好、购物性别偏好、购物年龄段偏好、商城偏好、地域和手机os；以及

对所述分值数据进行归一化处理，对所述分类数据进行离散化处理。