[发明专利]死链检测方法及装置

说明书

本发明提出一种死链检测方法及装置，其中方法包括：获取待检测的链接地址；获取链接地址对应的资源；对资源进行解析和渲染，获取链接地址对应的网页的内容和/或状态；根据网页的内容和/或状态，判断链接地址是否为死链，从而能够模拟浏览器获取各链接地址对应的网页的内容和/或状态，根据网页的内容和/或状态判断链接地址是否为死链，准确度高，时间短，且效率高，能够满足后续基于链接地址的数据分析需求。

技术领域

本发明涉及互联网技术领域，尤其涉及一种死链检测方法及装置。

背景技术

目前，网络蜘蛛爬虫等抓取到的链接数据，被频繁地用于各种需求的数据分析，例如用户需求分析、网络流量检测等。然而，网络蜘蛛爬虫抓取到的链接数据存在大量死链，会导致数据分析效率差，且容易导致数据分析程序崩溃。基于此，目前的死链检测方法主要是通过人工甄别死链，检测效率低，成本高，准确度差，且检测时间长，不能满足后续的数据分析需求。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种死链检测方法，用于解决现有技术中死链检测效率差、准确度差、且时间长的问题。

本发明的第二个目的在于提出一种死链检测装置。

本发明的第三个目的在于提出另一种死链检测装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种死链检测方法，包括：

获取待检测的链接地址；

获取所述链接地址对应的资源；

对所述资源进行解析和渲染，获取所述链接地址对应的网页的内容和/或状态；

根据所述网页的内容和/或状态，判断所述链接地址是否为死链。

进一步的，所述获取所述链接地址对应的资源之前，还包括：

获取所述链接地址的数量；

在所述链接地址的数量为至少两个时，确定所述链接地址的优先级；

根据所述链接地址的优先级，对所述链接地址进行排序；

对应的，所述获取所述链接地址对应的资源，包括：

按照排序顺序，依次获取排序在前的链接地址对应的资源。

进一步的，所述根据所述网页的内容和/或状态，判断所述链接地址是否为死链，包括：

判断所述网页的内容中是否存在满足死链条件的内容；和/或，

判断所述网页的状态是否满足所述死链条件；

在所述网页的内容中存在满足死链条件的内容，和/或，所述网页的状态满足所述死链条件时，确定所述网页对应的链接地址为死链。

进一步的，所述网页的内容包括：所述网页中显示的文字内容，和/或，对所述网页中的图片或者视频进行识别得到的文字内容。

进一步的，所述确定所述链接地址的优先级，包括：

根据所述链接地址中的域名和/或服务器名，确定所述链接地址的优先级。