[发明专利]一种数据筛选方法、装置及终端

摘要

本发明实施例提供一种数据筛选方法、装置及终端，涉及数据处理技术领域，主要目的在于通过区间估计计算共现数据相似度的置信区间，并以此筛选共现数据，降低统计不充分数据对推荐结果的干扰，提高推荐准确度。本发明实施例所采用的技术方案是：获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；通过区间估计计算所述共现数据在预置置信度下的相似度置信区间，所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；根据筛选阈值在所述相似度置信区间中的位置筛选所述共现数据。本发明主要用于数据过滤。

主权项

1.一种数据筛选方法，其特征在于，包括：

获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；

通过区间估计计算所述共现数据在预置置信度下的相似度置信区间，所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；

根据筛选阈值在所述相似度置信区间中的位置筛选所述共现数据。

2.根据权利要求1所述的方法，其特征在于，通过区间估计计算所述共现数据在预置置信度下的相似度置信区间包括：

根据所述两个元素的共现值和出现值分别计算两个元素互为出现条件下的出现概率；

通过区间估计分别计算所述两个元素的出现概率在所述预置置信度下的出现概率置信区间；

利用余弦相似度计算所述两个元素的出现概率置信区间，得到在所述预置置信度下的相似度置信区间。

3.根据权利要求1所述的方法，其特征在于，根据筛选阈值在所述置信区间中的位置筛选所述共现数据包括：

获取所述置信区间的区间上界值与区间下界值；

当所述筛选阈值大于所述区间上界值时，过滤所述共现数据；

当所述筛选阈值小于所述区间下界值时，保留所述共现数据；

当所述筛选阈值介于所述区间上界值与区间下界值之间时，利用预置过滤条件筛选所述共现数据。

4.根据权利要求3所述的方法，其特征在于，当所述筛选阈值小于所述区间下界值时，保留所述共现数据包括：

计算所述共现数据中元素的出现值之间的比值；

当所述比值小于预置阈值时，保留所述共现数据；

当所述比值大于预置阈值时，利用预置过滤条件筛选所述共现数据。

5.根据权利要求3或4所述的方法，其特征在于，利用预置过滤条件筛选所述共现数据包括：

根据所述预置过滤条件获取所述共现数据中元素的相关属性数据；

计算所述相关属性数据的相似度；

根据所述相似度的值筛选所述共现数据。

6.一种数据筛选装置，其特征在于，包括：

获取模块，用于获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；

计算模块，用于通过区间估计计算所述获取模块获取的共现数据在预置置信度下的相似度置信区间，所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；

筛选模块，用于根据筛选阈值在所述计算模块得到的相似度置信区间中的位置筛选所述共现数据。

7.根据权利要求6所述的装置，其特征在于，所述计算模块包括：

第一计算单元，用于根据所述两个元素的共现值和出现值分别计算两个元素互为出现条件下的出现概率；

第二计算单元，用于通过区间估计分别计算所述第一计算单元计算的两个元素的出现概率在所述预置置信度下的出现概率置信区间；

第三计算单元，用于利用余弦相似度计算所述第二计算单元计算两个元素的出现概率置信区间，得到在所述预置置信度下的相似度置信区间。

8.根据权利要求6所述的装置，其特征在于，所述筛选模块包括：

获取单元，用于获取所述置信区间的区间上界值与区间下界值；

筛选单元，用于当所述筛选阈值大于所述获取单元获取的区间上界值时，过滤所述共现数据；

所述筛选单元还用于，当所述筛选阈值小于所述获取单元获取的区间下界值时，保留所述共现数据；

所述筛选单元还用于，当所述筛选阈值介于所述获取单元获取的区间上界值与区间下界值之间时，利用预置过滤条件筛选所述共现数据。

9.一种数据筛选终端，其特征在于，所述终端包括处理器和存储器，其中，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行以实现权利要求1至5中任一项所述的数据筛选方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至5中任一项所述的数据筛选方法的步骤。