[发明专利]一种数据筛选方法、装置及终端

说明书

本发明实施例提供一种数据筛选方法、装置及终端，涉及数据处理技术领域，主要目的在于通过区间估计计算共现数据相似度的置信区间，并以此筛选共现数据，降低统计不充分数据对推荐结果的干扰，提高推荐准确度。本发明实施例所采用的技术方案是：获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；通过区间估计计算所述共现数据在预置置信度下的相似度置信区间，所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；根据筛选阈值在所述相似度置信区间中的位置筛选所述共现数据。本发明主要用于数据过滤。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据筛选方法、装置及终端。

背景技术

协同过滤推荐算法是诞生最早，并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于商户的协同过滤算法，和基于用户的协同过滤算法。对于商户协同过滤需要通过商户-商户共现构建物品之间的相似度矩阵；用户协同过滤则需构建用户相似度矩阵。

在构建用户或者商户相似度矩阵时，需要统计用户-用户的共现数据或商户-商户的共现数据。目前通用的方案是对于支持度小于阈值的共现数据直接过滤，降低统计不充分对相似度矩阵造成的影响。其中，支持度是指对随机变量进行采样估计时某个取值出现的总次数，根据统计学原理，某个取值的支持度越低，其受随机性影响越大，统计充分性越低；而统计充分性是指通过统计采样对随机变量进行估计时，若样本较少，则估计值方差变大，造成估计值不稳定，导致统计不充分的情况。可见，由于目前所采用的基于支持度的筛选方式在对统计充分与统计不充分的数据均采用一个经验阈值的判断标准，筛选出的部分数据存在缺乏普适性的问题，降低了后续所得到的推荐结果的准确度。

发明内容

鉴于上述问题，本发明实施例提供一种数据筛选方法、装置及终端，主要目的在于通过区间估计计算共现数据相似度的置信区间，并以此筛选共现数据，降低统计不充分数据对推荐结果的干扰，提高推荐准确度。

为解决上述技术问题，第一方面，本发明实施例提供一种数据筛选方法，该方法包括：

获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；

通过区间估计计算所述共现数据在预置置信度下的相似度置信区间，所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；

根据筛选阈值在所述相似度置信区间中的位置筛选所述共现数据。

第二方面，本发明实施例提供一种数据筛选装置，该装置包括：

获取模块，用于获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；

计算模块，用于通过区间估计计算所述获取模块获取的共现数据在预置置信度下的相似度置信区间，所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；

筛选模块，用于根据筛选阈值在所述计算模块得到的相似度置信区间中的位置筛选所述共现数据。

第三方面，本发明实施例提供一种数据筛选终端，所述终端包括处理器和存储器，其中，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行以实现上述的数据筛选方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，其中，在所述计算机指令被处理器执行时实现上述的数据筛选方法的步骤。