[发明专利]一种基于图像检测算法的网页信息筛查方法

权利要求书

1.一种基于图像检测算法的网页信息筛查方法，其特征在于，包括以下步骤：

步骤S1，预先获取待过滤目标网页链接信息并进行页面访问；

步骤S3，对目标网页通过Splash框架进行渲染获取网页截图；

步骤S7，引擎将获取的网页截图输送给预训练目标检测模型，获取检验目标结果，确定模型返回目标个数n；

步骤S9，判断目标个数n与有效目标阈值m的关系，其中，若n小于有效目标阈值m，则该网页为无效网页，若n大于等于有效目标阈值m，则该网页为有效网页；

步骤S11，引擎将对有效网页进行解析和数据下载，对无效网页进行忽略，完成网页信息筛查。

2.根据权利要求1所述的基于图像检测算法的网页信息筛查方法，其特征在于，步骤S1，进一步包括以下步骤：

步骤S101，预先通过公开数据集获取目标信息，将其中的文本信息手动记录成文本列表；

步骤S102，通过Python库Request使用Post“目标信息关键字”到浏览器，获取网页服务器响应的信息，并将网页返回的信息转成Json格式，并解析Json获取其中目标信息的关键信息，存储到文本列表中；

步骤S103，将获取的文本列表中信息依次存储到基于内存读取的分布式数据库Redis中。

3.根据权利要求1所述的基于图像检测算法的网页信息筛查方法，其特征在于，步骤S7包括模型预训练和检测模块，其中；

所述模型预训练，用于通过公开测试集预训练一个目标检测模型；

所述检测模块，可以获取输入网页截图的检测框位置及个数以及确定模型返回目标个数n。

4.根据权利要求3所述的基于图像检测算法的网页信息筛查方法，其特征在于，所述检测模块包括图像预处理、神经网络推理和检测回归。