[发明专利]一种数据筛选方法、装置及终端

权利要求书

1.一种数据筛选方法，其特征在于，包括：

获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；

通过区间估计计算所述共现数据在预置置信度下的相似度置信区间，包括：根据所述两个元素的共现值和出现值分别计算两个元素互为出现条件下的出现概率；通过区间估计分别计算所述两个元素的出现概率在所述预置置信度下的出现概率置信区间；利用余弦相似度计算所述两个元素的出现概率置信区间，得到在所述预置置信度下的相似度置信区间；所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；

根据筛选阈值在所述相似度置信区间中的位置筛选所述共现数据，包括：获取所述置信区间的区间上界值与区间下界值；当所述筛选阈值大于所述区间上界值时，过滤所述共现数据；当所述筛选阈值小于所述区间下界值时，保留所述共现数据；当所述筛选阈值介于所述区间上界值与区间下界值之间时，利用预置过滤条件筛选所述共现数据。

2.根据权利要求1所述的方法，其特征在于，当所述筛选阈值小于所述区间下界值时，保留所述共现数据包括：

计算所述共现数据中元素的出现值之间的比值；

当所述比值小于预置阈值时，保留所述共现数据；

当所述比值大于预置阈值时，利用预置过滤条件筛选所述共现数据。

3.根据权利要求1或2所述的方法，其特征在于，利用预置过滤条件筛选所述共现数据包括：

根据所述预置过滤条件获取所述共现数据中元素的相关属性数据；

计算所述相关属性数据的相似度；

根据所述相似度的值筛选所述共现数据。

4.一种数据筛选装置，其特征在于，包括：

获取模块，用于获取经过数据分析得到的一组共现数据，所述共现数据中包括两个元素的共现值，以及每个元素的出现值；

计算模块，用于通过区间估计计算所述获取模块获取的共现数据在预置置信度下的相似度置信区间，所述相似度置信区间用于展现所述共现数据中两个元素的相似度值的可能范围；所述计算模块包括：第一计算单元，用于根据所述两个元素的共现值和出现值分别计算两个元素互为出现条件下的出现概率；第二计算单元，用于通过区间估计分别计算所述第一计算单元计算的两个元素的出现概率在所述预置置信度下的出现概率置信区间；第三计算单元，用于利用余弦相似度计算所述第二计算单元计算两个元素的出现概率置信区间，得到在所述预置置信度下的相似度置信区间；

筛选模块，用于根据筛选阈值在所述计算模块得到的相似度置信区间中的位置筛选所述共现数据；其中，所述筛选模块包括：获取单元，用于获取所述置信区间的区间上界值与区间下界值；筛选单元，用于当所述筛选阈值大于所述获取单元获取的区间上界值时，过滤所述共现数据；所述筛选单元还用于，当所述筛选阈值小于所述获取单元获取的区间下界值时，保留所述共现数据；所述筛选单元还用于，当所述筛选阈值介于所述获取单元获取的区间上界值与区间下界值之间时，利用预置过滤条件筛选所述共现数据。

5.根据权利要求4所述的装置，其特征在于，所述筛选单元在保留所述共现数据时，还包括：

计算子单元，用于计算所述共现数据中元素的出现值之间的比值；

筛选子单元，用于当所述计算子单元计算的比值小于预置阈值时，保留所述共现数据；

所述筛选子单元还用于，当所述计算子单元计算的比值大于预置阈值时，利用预置过滤条件筛选所述共现数据。

6.根据权利要求4或5所述的装置，其特征在于，所述筛选单元在利用预置过滤条件筛选所述共现数据时，还包括：

获取子单元，用于根据所述预置过滤条件获取所述共现数据中元素的相关属性数据；

所述计算子单元还用于，计算所述获取子单元获取的相关属性数据的相似度；

所述筛选子单元还用于，根据所述计算子单元计算的相似度的值筛选所述共现数据。

7.一种数据筛选终端，其特征在于，所述终端包括处理器和存储器，其中，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行以实现权利要求1至3中任一项所述的数据筛选方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至3中任一项所述的数据筛选方法的步骤。