[发明专利]一种远程文件识别方法、装置、服务器及可读存储介质

说明书

本申请涉及互联网技术领域的领域，尤其是涉及一种远程文件识别方法、装置、服务器及可读存储介质，其包括获取本运营商用户建立的外网回源任务中的URL；确定解除模块URL对应的文件的第一标识，对于每个文件，文件的第一标识是基于该文件的长度信息和预设位置的内容信息得到的；判断内网缓存服务器中是否存在第一标识与解除模块URL对应的文件的第一标识相同的文件；若存在，则确定解除模块内网中第一标识与解除模块URL对应的文件的第一标识相同的文件为等效文件；将内网缓存服务器中解除模块等效文件返回至用户；将解除模块URL与解除模块等效文件的第一标识关联。本申请能够降低运营商的流量成本。

技术领域

本申请涉及互联网技术领域的领域，尤其是涉及一种远程文件识别方法、装置、服务器及可读存储介质。

背景技术

互联网上存在很多文件，被放在不同运营商的网站内，对于运营商来说，其他运营商的网站就叫外网，而本运营商下属的网站就叫内网。由于不同运营商之间带宽出口需要支付费用，因此对于一个运营商来说，用户下载相同的文件，选择内网的成本要低于选择外网的成本。

在互联网上，有些文件的实际内容一致，但是使用了不同而且完全无联系的URI，使用常用的URL聚合技术是无法将其识别定义为相同文件的，因此只有将外网服务器的完整文件下载到本地（内网缓存服务器）后，对比文件全部内容才能识别外网服务器的文件与本地服务器的文件是否为相同文件。在下载外网服务器文件的过程中，存在外网的文件被本运营商用户多次下载的情况，增加了运营商的进口其他运营商带宽的成本。

发明内容

为了降低运营商的流量成本，本申请提供一种远程文件识别方法、装置、服务器及可读存储介质。

第一方面，本申请提供一种远程文件识别方法，采用如下的技术方案：

一种远程文件识别方法，包括：

获取本运营商用户建立的外网回源任务中的URL；

确定所述URL对应的文件的第一标识，对于任一文件，文件的第一标识是基于该文件的长度信息和预设位置的内容信息得到的；

判断内网缓存服务器中是否存在第一标识与所述URL对应的文件的第一标识相同的文件；

若存在，则确定所述内网中第一标识与所述URL对应的文件的第一标识相同的文件为等效文件；

将内网缓存服务器中所述等效文件返回至用户；

将URL对应的唯一标识与所述等效文件的第一标识关联。

通过采用上述技术方案，内网的缓存服务器收到URL请求后，从外网服务器上下载URL对应的文件的预设位置的数据，然后计算得到该文件的第一标识，如果内网缓存服务器中有文件的第一标识与URL对应的文件的第一标识相同，则从本地缓存服务器为用户提供文件下载，这个过程中只消耗了在外网服务器上下载URL对应的文件的预设位置的数据的流量，相比在外网服务其上直接下载该URL对应的完整文件，减少了流量消耗，降低了运营商的流量成本；同时建立该URL与内网缓存服务器中等效文件的对应关联关系，以便于后续本运营商的用户建立基于该URL的回源任务时，也能够在本地的缓存服务器上下载该等效文件，进一步降低了运营商的流量成本。

在一种可能实现的方式中，所述确定所述URL对应的唯一标识的方法，包括：

基于预设规则获取所述URL的关键字；

基于所述URL的关键字进行SHA-1算法，确定所述URL的唯一标识。

在一种可能实现的方式中，在判断内网缓存服务器中是否存在第一标识与所述URL对应的文件的第一标识相同的文件，之前还包括：

确定所述URL的唯一标识；

判断内网缓存服务器中是否存在第一标识与所述URL的唯一标识相对应的文件；

若存在，则确定所述内网缓存服务器中第一标识与所述URL的唯一标识相对应的文件为预备文件；

将内网缓存服务器中所述预备文件返回至用户；