[发明专利]一种基于爬虫的自动化差异检测方法及装置

摘要

公开了一种基于爬虫的自动化差异检测方法及装置。所述方法包括获取第一Web系统的第一初始统一资源定位符（URL）以及第二Web系统的第二初始URL；基于爬虫分别对第一初始URL和第二初始URL进行遍历，以不断抓取第一Web系统下的第一页面和第二Web系统下的第二页面，其中，在遍历过程中，执行以下处理对抓取的第一页面和相应的第二页面进行渲染，分别产生第一网页图像和第二网页图像，对第一网页图像和第二网页图像进行相似性比较，当第一网页图像和第二网页图像不同时，产生差异页面信息，并且将所述差异页面信息存储在差异页面信息数据库中。

主权项

一种基于爬虫的自动化差异检测方法，所述方法包括：获取第一Web系统的第一初始统一资源定位符(URL)以及第二Web系统的第二初始URL；基于爬虫分别对第一初始URL和第二初始URL进行遍历，以不断抓取第一web系统下的第一页面和第二web系统下的第二页面，其中，在遍历过程中，执行以下处理：对抓取的第一页面和相应的第二页面进行渲染，分别产生第一网页图像和第二网页图像，对第一网页图像和第二网页图像进行相似性比较，当第一网页图像和第二网页图像不同时，产生差异页面信息，并且将所述差异页面信息存储在差异页面信息数据库中，其中，在遍历过程中，执行以下处理：从渲染后的第一页面和渲染后的第二页面中提取新的URL，如果从渲染后的第一页面中提取的URL与从渲染后的第二页面中提取的相应的URL不相同，则跳过所述从渲染后的第一页面中提取的URL和所述从渲染后的第二页面中提取的相应的URL，并产生差异页面信息，将差异页面信息存储在差异页面信息数据库中。