[发明专利]确定重复数据的方法、设备和计算机程序产品

说明书

本公开涉及一种确定重复数据的方法、设备和计算机程序产品。该方法包括：响应于确定输入数据中的、在第一位置处的数据与预定数据相同，确定该输入数据的选定部分的特征值；确定该特征值是否与重复数据模式列表中预先存储的重复数据的模式相匹配；以及响应于确定该特征值与该重复数据的模式相匹配，确定该输入数据与匹配的该模式相关联的参考数据的关联性。

技术领域

本公开涉及预定模式数据的识别与确定。更具体地，本公开涉及确定重复数据的方法、设备及计算机程序产品。

背景技术

当前互联网上充斥着大量的重复数据，对这些重复的网页数据的处理与收录会造成存储和计算资源的浪费。因此有必要识别这些重复数据。

传统的重复数据的识别或确定方法主要是通过将带识别的输入数据直接与已有模式的重复数据的参考数据进行逐缓冲行的比较，以便确定二者是否相同。由于传统的确定重复数据的方法需要将每个输入数据与数据库中对应已有模式的多个参考数据逐缓冲行地进行比较，因此传统的重复数据确定方法存在识别效率较低，并且消耗大量CPU资源的不足之处。

发明内容

本公开提供一种确定重复数据的方法、设备和计算机程序产品，能够有效地减少存储与计算资源的消耗，提高识别重复数据的效率。

根据本公开的第一方面，提供了一种确定重复数据的方法。该方法包括：响应于确定输入数据中的、在第一位置处的数据与预定数据相同，确定该输入数据的选定部分的特征值；确定该特征值是否与重复数据模式列表中预先存储的重复数据的模式相匹配；以及响应于确定该特征值与该重复数据的模式相匹配，确定该输入数据与匹配的该模式相关联的参考数据的关联性。

根据本发明的第二方面，还提供一种确定重复数据的设备。该设备包括：存储器，被配置为存储一个或多个程序；处理单元，耦合至该存储器并且被配置为执行该一个或多个程序使该管理系统执行多个动作，该动作包括：响应于确定输入数据中的、在第一位置处的数据与预定数据相同，确定该输入数据的选定部分的特征值；确定该特征值是否与重复数据模式列表中预先存储的重复数据的模式相匹配；以及响应于确定该特征值与该重复数据的模式相匹配，确定该输入数据与匹配的该模式相关联的参考数据的关联性。

根据本公开的第三方面，还提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行根据第一方面的方法的步骤。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的实施例的确定重复数据方法的系统100的架构图；

图2示出了根据本公开的实施例的确定重复数据的方法200的流程图

图3示出了根据本公开的实施例的第一位置处的数据与预定数据比较方法300的示意图；

图4示出了根据本公开的实施例的第一位置处与第二位置处数据比较方法400的示意图；

图5示出了根据本公开的实施例的第一数据部分与第二数据部分比较方法500的示意图；以及

图6示意性示出了适于用来实现本公开实施例的电子设备600的框图。

具体实施方式