[发明专利]一种共同特征数据确定的方法及设备

说明书

本申请的目的是提供一种共同特征数据确定的方法及设备，本申请通过将多个目标数据集合中的数据按照所述目标数据集合对应的内存地址映射至预设内存的槽位中；确定含有所述目标数据集合中的数据的目标槽位，将所述目标槽位的值设定为预设值；根据各目标数据集合对应的内存地址确定相同行信息的多个内存段；将所述相同行信息的多个内存段中相同目标槽位的预设值进行求与运算，将运算结果存储在所述相同行信息所属内存段中；将每一行中内存段中的数据还原，得到共同特征数据。能够快速得到多个数据集合的共同特征数据，达到线性的时间复杂度，且在大数据下会非常节省资源。

技术领域

本申请涉及计算机领域，尤其涉及一种共同特征数据确定的方法及设备。

背景技术

很多应用场景中需要进行数据集合的交集操作，比如查找用户的相似性，在电商网站中，查找购买A商品的用户和购买B商品的用户的交集，计算用户间的相似性。现有对数据集合的交集求解是通过循环匹配法，以其中一个集合为标准，遍历其他集合，对于集合中的每个数字，如果标准集合中存在记录就写入到结果集合中，否则忽略该数字，多个需要求交集的集合的交集结果保存在结果集合中，遍历结果集合得到输出结果。然而，需要把每一个集合做整体循环去其他集合中查找，若数据量大，则会导致速度会比较慢，且对系统内存消耗很大，资源开销较大。

发明内容

本申请的一个目的是提供一种共同特征数据确定的方法及设备，解决现有技术中处理大数据量时处理速度慢和内存消耗大的问题。

根据本申请的一个方面，提供了一种共同特征数据确定的方法，该方法包括：

将多个目标数据集合中的数据按照所述目标数据集合对应的内存地址映射至预设内存的槽位中；

确定含有所述目标数据集合中的数据的目标槽位，将所述目标槽位的值设定为预设值；

根据各目标数据集合对应的内存地址确定相同行信息的多个内存段；

将所述相同行信息的多个内存段中相同目标槽位的预设值进行求与运算，将运算结果存储在所述相同行信息所属内存段中；

将每一行中内存段中的数据还原，得到共同特征数据。

进一步地，将多个目标数据集合中的数据按照所述目标数据集合对应的内存地址映射至预设内存的槽位中，包括：

确定每一目标数据集合对应的内存地址，其中，所述内存地址为所述预设内存中用于存储相应目标数据集合中数据的地址；

确定所述目标数据集合中每一数据在预设内存中内存段信息及槽位信息；

根据每一数据所属目标数据集合对应的内存地址、所述内存段信息及槽位信息将每一数据映射至所述预设内存的槽位中。

进一步地，确定含有所述目标数据集合中的数据的目标槽位，将所述目标槽位的值设定为预设值，包括：

确定含有所述目标数据集合中的数据的目标槽位；

根据所述目标槽位的槽位信息及内存段信息将所述目标槽位的值设定为预设值。

进一步地，将所述目标槽位的值设定为预设值，包括：

将所述目标槽位的值设定为1。

进一步地，根据所述目标槽位所属的槽位信息及内存段信息将所述目标槽位的值设定为预设值，包括：

将所述目标槽位的槽位信息及内存段信息进行或运算，根据运算结果将所述目标槽位的值设定为预设值。

进一步地，将每一行中的内存段中的数据还原，包括：

判断每一行中内存段中的值是否大于0，若是，则根据所述内存段的内存段信息及内存段的总槽位数将所述内存段中的目标槽位中的数据进行还原。