[发明专利]链接去重方法、装置、设备及存储介质

权利要求书

1.一种链接去重方法，其特征在于，所述链接去重方法包括以下步骤：

获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；

将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；

根据匹配结果判断是否对所述格式化链接进行去重操作。

2.如权利要求1所述的链接去重方法，其特征在于，所述将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果的步骤之前，还包括：

从链接历史库中获取待处理链接；

对所述待处理链接进行无效参数识别，获得无效参数识别结果；

在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；

根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。

3.如权利要求2所述的链接去重方法，其特征在于，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤，包括：

根据所述动态参数识别结果确定所述待处理链接的有效参数；

根据所述有效参数和所述待处理链接生成目标链接；

根据所述目标链接构建预设链接模式库。

4.如权利要求2所述的链接去重方法，其特征在于，所述对所述待处理链接进行无效参数识别，获得无效参数识别结果的步骤，包括：

获取所述待处理链接对应的链接资源文件；

对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；

在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；

对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；

根据所述对比结果生成无效参数识别结果。

5.如权利要求4所述的链接去重方法，其特征在于，所述根据所述对比结果生成无效参数识别结果的步骤，包括：

若所述对比结果为对比一致，则判定当前删除的参数为无效参数；

若所述对比结果为对比不一致，则判定当前删除的参数为待验证参数。

6.如权利要求4所述的链接去重方法，其特征在于，所述对比所述链接资源文件和所述待验证链接资源文件，获得对比结果的步骤，包括：

通过预设算法确定所述链接资源文件对应的目标散列值；

通过所述预设算法确定所述待验证链接资源文件对应的验证散列值；

对比所述目标散列值和所述验证散列值，获得对比结果。

7.如权利要求5所述的链接去重方法，其特征在于，所述根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果的步骤，包括：

根据所述无效参数识别结果确定所述待处理链接中的待验证参数；

对所述待验证参数进行格式验证，获得格式验证结果；

根据所述格式验证结果确定所述待处理链接对应的动态参数识别结果。

8.一种链接去重装置，其特征在于，所述链接去重装置包括：

获取模块，用于获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；

匹配模块，用于将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；

去重模块，用于根据匹配结果判断是否对所述格式化链接进行去重操作。

9.一种链接去重设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的链接去重程序，所述链接去重程序配置为实现如权利要求1至7中任一项所述的链接去重方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有链接去重程序，所述链接去重程序被处理器执行时实现如权利要求1至7任一项所述的链接去重方法的步骤。