[发明专利]一种基于项目反应理论的数据去重方法、装置及设备

说明书

本申请公开了一种基于项目反应理论的数据去重方法，在获取待上传数据之后，能够根据项目反应理论确定待上传数据的理论隐私分数，并根据理论隐私分数、云存储服务器中待上传数据的副本数据的隐私分数，确定副本数据的去重阈值，最终在副本数据的数量大于去重阈值时执行数据去重操作。可见，该方法能够依据项目反应理论确定待上传数据的理论隐私分数，并根据理论隐私分数确定去重阈值，由于项目反应理论综合考量用户主观性的隐私需求以及数据客观性的隐私性，因此该方法实现了根据不同用户、不同数据动态调整数据的去重阈值的目的。此外，本申请还提供了一种基于项目反应理论的数据去重装置、设备及计算机可读存储介质，其作用与上述方法相对应。

技术领域

本申请涉及数据去重领域，特别涉及一种基于项目反应理论的数据去重方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术和网络信息技术的发展，全球的数据信息存储量呈爆炸式增长的趋势。目前分布式系统已广泛应用到信息产业中，用于应对海量数据的日益增长。然而，分布式系统虽然解决了海量数据的存储问题，但同时带来了新的挑战——数据的冗余越来越多。

数据去重技术是一种通过大规模消除冗余数据，降低存储成本的重要技术。目前，一种常用数据去重方案为基于流行度的数据去重方法，该方案为云存储服务器中的数据设置阈值，在上传同一数据的用户数量达到阈值前，云存储服务器为每个用户存储其数据副本；当上传同一数据的用户数量达到阈值后，则认为该数据为流行数据，对其进行去重操作，即为后续上传数据的用户创建访问链接，不再实际存储数据副本。

然而，基于流行度的数据去重方案为所有数据分配统一的固定的阈值，一方面难以确定合理的阈值大小，另一方面缺乏对不同数据、不同用户的实际需求的考量。

发明内容

本申请的目的是提供一种基于项目反应理论的数据去重方法、装置、设备及计算机可读存储介质，用以解决传统的数据去重方案为所有上传数据设置统一的既定阈值，缺乏对不同数据、不同用户的实际需求的考量，导致隐私数据泄露或数据去重效果不理想的问题。具体方案如下：

第一方面，本申请提供了一种基于项目反应理论的数据去重方法，包括：

获取待上传数据；

根据项目反应理论，确定所述待上传数据的理论隐私分数；

根据所述理论隐私分数、云存储服务器中所述待上传数据的副本数据的隐私分数，确定所述副本数据的去重阈值；

在所述副本数据的数量大于所述去重阈值时，执行数据去重操作。

可选的，所述根据项目反应理论，确定所述待上传数据的理论隐私分数，包括：

根据项目反应理论，利用最大似然函数方法确定所述待上传数据的可见度和敏感度；

根据所述可见度和所述敏感度，确定所述待上传数据的理论隐私分数。

可选的，所述根据所述理论隐私分数、云存储服务器中所述待上传数据的副本数据的隐私分数，确定所述副本数据的去重阈值，包括：

根据所述理论隐私分数、云存储服务器中所述待上传数据的副本数据的隐私分数，确定综合隐私分数；

根据所述综合隐私分数，依据目标函数确定所述副本数据的去重阈值，其中，所述目标函数为T_i为副本数据i的去重阈值，PR_i为副本数据i的综合隐私分数，a为预设系数。

可选的，所述根据所述理论隐私分数、云存储服务器中所述待上传数据的副本数据的隐私分数，确定综合隐私分数，包括：

将所述理论隐私分数反馈给当前用户；

响应所述当前用户的接受请求以根据所述理论隐私分数、云存储服务器中所述待上传数据的副本数据的隐私分数，确定综合隐私分数；