[发明专利]一种终端数据相似度度量方法

说明书

本发明公开了一种终端数据相似度度量方法，包括：根据终端数据确定计算特征；根据所述计算特征分别计算终端数据的距离相似度和终端数据的文本相似度；将所述终端数据的距离相似度和所述终端数据的文本相似度输入终端相似度函数进行加权求和，获取终端相似度度量，若所述终端相似度度量大于预设的超参数阈值，则判断两个所述终端数据相似，否则不相似。本发明通过距离相似度和文本相似度的加权和来鉴定重复终端数据，提高获取终端数据的质量。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种终端数据相似度度量方法。

背景技术

在新零售时代，快消行业的营销运营日益数字化，快消行业对终端管理的需求主要集中在如何通过人工智能解决销售过程中，人员、终端、产品、渠道各个业务对象的管理问题，而零售终端作为快消零售企业的“人货场”中“场”的主要承载体，是快消零售企业最接近消费端的触角，是企业获取消费端数据的主要入口，所以对零售终端的管理是快消零售企业尤为重要的一个环节。

一般的，快消零售企业获取终端信息的主要渠道是通过业务员拜访录入系统，录入系统的终端门店信息很大程度受业务员影响，由于业务员的流动性比较大，而且业务员自身又有开拓终端门店的绩效指标，这使得不同业务员间可能提交重复的终端，而且业务员自身也可以提交重复终端，进行业务造假，最终使得企业系统中的终端数据存在许多重复冗余的虚假数据，针对快消零售企业终端数据的冗余虚假现象，快速高效的静态终端数据去重技术的研究尤为重要，现有的手段主要是通过稽核人员去人工核检，这种方式不仅成本高，而且效率低下。

发明内容

本发明目的在于，提供一种终端数据相似度度量方法，以解决获取终端数据效率低的问题。

为实现上述目的，本发明提供一种终端数据相似度度量方法，包括：

根据终端数据确定计算特征；

根据所述计算特征分别计算终端数据的距离相似度和终端数据的文本相似度；

将所述终端数据的距离相似度和所述终端数据的文本相似度输入终端相似度函数进行加权求和，获取终端相似度度量，若所述终端相似度度量大于预设的超参数阈值，则判断两个所述终端数据相似，否则不相似。

优选地，所述计算特征，包括：

计算终端数据距离相似度的特征，包括经纬度；

计算终端数据文本相似度的特征，包括终端名称、地址、类型和联系人。

优选地，所述计算终端数据的距离相似度，包括：

采用Geohash算法将所述经纬度特征进行编码，获取Geohash编码；

通过索引搜索所述Geohash编码确定当前终端S_i与相邻终端构成的终端数据集S＝(S₀,S₁,...,S_n)，其中，n为终端数；

所述终端数据集S＝(S₀,S₁,...,S_n)分别与所述当前终端S_i进行计算距离，获取距离集；

将所述距离集输入预设的距离相似度函数，获取所述终端数据的距离相似度。

优选地，所述终端数据的文本相似度，包括：

采用结巴分词获取所述当前终端S_i中每个文本特征的分词结果与所述终端数据集S＝(S₀,S₁,...,S_n)中每个终端的每个文本特征的分词结果；

采用Levenshtein Distance算法计算所述分词结果的相似度，获取所述终端数据的文本相似度。