[发明专利]一种数据检测方法以及装置

说明书

本发明实施例公开了一种数据检测方法以及装置，所述方法包括：从第一业务请求数据包中提取至少一个目标头字段，并在预设的异常分析规则库中，对其进行异常分析，并根据分析结果计算第一业务请求数据包对应的字段异常分值，作为目标字段异常分值，并将各目标头字段中的目标终端信息与目标字段异常分值的关联关系存储至存储数据库中；当接收到业务服务器发送的异常查询请求时，获取异常查询请求中的查询参数，并在存储数据库中检测到查询参数与目标终端信息相匹配时，将与目标终端信息对应的目标字段异常分值作为结果数据发送至业务服务器。采用本发明，可降低对恶意爬虫的误判率和漏判率，并避免业务服务器中的正常业务流程中的网络请求中断。

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据检测方法以及装置。

背景技术

网络爬虫是一种自动获取网页内容的程序。对于一个网站而言，恶意爬虫的大量请求会消耗服务器的性能，甚至会造成服务器宕机。现有的网络爬虫技术可以包括高频率脚本爬虫和采集器爬虫。

目前主流的实时检测恶意爬虫的方法具体可以为：业务服务器在时间窗口中实时统计某个IP(Internet Protocol，网络协议)地址对应的访问量，并根据访问量和时间窗口的时间区间，计算该IP地址对应的访问频率，并根据访问频率决策是否对包含该IP地址的业务请求进行拦截或放行。

由于现有的实时检测恶意爬虫的方法所依赖的维度过于单一(即仅仅访问量维度)，所以现有的实时检测恶意爬虫的方法容易产生较高的误判率和漏判率。在现有的实时检测恶意爬虫的方法中，还需要在业务服务器的内存中开辟临时存储空间，并同时进行阈值和判断逻辑的设定，容易导致业务服务器的系统资源被大量占用。而且，在现有的实时检测恶意爬虫的方法中，业务服务器需要等待爬虫检测系统执行完对业务请求的爬虫检测操作后，才能继续后续业务流程，因此，在对业务请求进行爬虫检测的过程中出现异常时，可能会导致业务服务器中的正常业务流程中的网络请求中断。

发明内容

本发明实施例提供一种数据检测方法以及装置，可降低检测恶意爬虫的误判率和漏判率，并降低对业务服务器的系统资源的占用，并可以有效避免业务服务器中的正常业务流程中的网络请求中断。

本发明实施例提供了一种数据检测方法，包括：

获取第一业务请求数据包，并从所述第一业务请求数据包中提取至少一个目标头字段；

在预设的异常分析规则库中，对所述至少一个目标头字段进行异常分析，并根据分析结果计算所述第一业务请求数据包对应的字段异常分值；

将所述第一业务请求数据包对应的字段异常分值作为目标字段异常分值，并将所述至少一个目标头字段中的目标终端信息与所述目标字段异常分值的关联关系存储至存储数据库中；

当接收到业务服务器发送的与第二业务请求数据包对应的异常查询请求时，获取所述异常查询请求中的查询参数，并在所述存储数据库中检测到所述查询参数与所述目标终端信息相匹配时，将所述存储数据库中与所述目标终端信息对应的所述目标字段异常分值作为结果数据，并将所述结果数据发送至所述业务服务器，以使所述业务服务器根据所述结果数据对所述第二业务请求数据包进行业务处理。

相应地，本发明实施例还提供了一种数据检测装置，包括：

数据包获取模块，用于获取第一业务请求数据包；

提取模块，用于从所述第一业务请求数据包中提取至少一个目标头字段；

分析计算模块，用于在预设的异常分析规则库中，对所述至少一个目标头字段进行异常分析，并根据分析结果计算所述第一业务请求数据包对应的字段异常分值；

关系存储模块，用于将所述第一业务请求数据包对应的字段异常分值作为目标字段异常分值，并将所述至少一个目标头字段中的目标终端信息与所述目标字段异常分值的关联关系存储至存储数据库中；