[发明专利]链接去重方法、装置、设备及存储介质

说明书

本发明属于通讯领域，公开了一种链接去重方法、装置、设备及存储介质。该方法包括：获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对所述格式化链接进行去重操作。由于本发明是将格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对格式化链接进行去重操作。相对于现有的接收到下载链接直接进行资源下载的方式，本发明上述方式能够对下载链接进行去重操作，减少资源的重复下载，保证下载资源的质量。

技术领域

本发明涉及通讯技术领域，尤其涉及一种链接去重方法、装置、设备及存储介质。

背景技术

日常生活中下载一个应用程序往往都是通过一个URI链接资源进行文件下载，随着互联网技术的发展，这种链接文件不再是一个固定的地址，90％以上都是每时每刻不断变化的，那么通过这种海量URI资源进行资源下载时通常会导致以下问题：在大量需要下载应用链接的时候，文件往往超大，如果每个下载链都进行一次处理，将带来海量的无效资源。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种链接去重方法、装置、设备及存储介质，旨在解决现有技术根据下载链接直接进行资源下载导致资源重复下载，资源冗余的技术问题。

为实现上述目的，本发明提供了一种链接去重方法，所述方法包括以下步骤：

获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；

将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；

根据匹配结果判断是否对所述格式化链接进行去重操作。

可选地，所述将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果的步骤之前，还包括：

从链接历史库中获取待处理链接；

对所述待处理链接进行无效参数识别，获得无效参数识别结果；

在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；

根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。

可选地，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤，包括：

根据所述动态参数识别结果确定所述待处理链接的有效参数；

根据所述有效参数和所述待处理链接生成目标链接；

根据所述目标链接构建预设链接模式库。

可选地，所述对所述待处理链接进行无效参数识别，获得无效参数识别结果的步骤，包括：

获取所述待处理链接对应的链接资源文件；

对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；

在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；

对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；

根据所述对比结果生成无效参数识别结果。

可选地，所述根据所述对比结果生成无效参数识别结果的步骤，包括：

若所述对比结果为对比一致，则判定当前删除的参数为无效参数；