[发明专利]一种基于LSTM模型的URL请求分类方法及装置

说明书

本发明实施例提供一种基于LSTM模型的URL请求分类方法及装置，将每个URL向量化，得到相应的向量矩阵；组合全部请求的向量矩阵，得到一个三维矩阵X；将每个URL对应的标签向量化；组合全部请求的URL向量化后的标签，得到一个标签向量Y；将三维矩阵X和标签向量Y输入LSTM长短期记忆网络模型进行训练，训练完成之后得到训练好的LSTM模型；将待识别的三维矩阵X1和待识别的标签向量Y1输入到训练好的LSTM模型进行训练，得到该待识别的URL的训练结果h(X1)；当该待识别的URL的训练结果h(X1)大于预设的第一阈值时，该待识别的URL请求为有害请求。通过LSTM长短期记忆网络模型对有害URL的训练结果来判断待识别的URL新接收到的URL请求是有害请求还是无害请求。

技术领域

本发明涉及计算机领域，具体涉及一种基于LSTM模型的URL请求分类方法及装置。

背景技术

网站是为用户提供数据的，但是总是某些用户通过非法手段频繁访问网站，造成网站的拥堵或者瘫痪。所以，会有反抓站系统对这部分非正常访问的用户进行收集并封禁。

在实现本发明过程中，申请人发现现有技术中至少存在如下问题：

通过传统的通过ip确认非法用户比较困难，因为通过非法用户会频繁更换ip，每个ip的使用量有限，难以判断用户是否为非法用户。

发明内容

本发明实施例提供一种基于LSTM模型的URL请求分类方法及装置，通过LSTM长短期记忆网络模型对有害URL的训练结果来判断待识别的URL新接收到的URL请求是有害请求还是无害请求。

为达上述目的，一方面，本发明实施例提供一种基于LSTM模型的URL请求分类方法，包括：

获取多个被认定为有害请求的URL和多个被认定为无害请求的URL；

将每个URL向量化，分别得到相应的向量矩阵；组合全部有害请求和无害请求的向量矩阵，得到一个三维矩阵X，三维矩阵X中每个URL的向量矩阵平行设置；

将每个URL对应的标签向量化；组合全部有害请求和无害请求的URL向量化后的标签，得到一个标签向量Y；

将三维矩阵X和标签向量Y输入长短期记忆网络LSTM模型进行训练，训练完成之后得到训练好的LSTM模型；

提取任一待识别的统一资源定位符URL请求，将该待识别的URL请求的向量矩阵增加到三维矩阵X内，形成待识别的三维矩阵X1；将该待识别的URL请求向量化后的标签添加到标签向量Y内，形成待识别的标签向量Y1；将待识别的三维矩阵X1和待识别的标签向量Y1输入到训练好的LSTM模型进行训练，得到该待识别的URL请求的训练结果h(X1)；以及

当该待识别的URL请求的训练结果h(X1)大于预设的第一阈值时，则判定该待识别的URL请求为有害请求；当该待识别的URL请求的训练结果h(X1)小于等于第一阈值时，则判定该待识别的URL请求为无害请求。

另一方面，本发明实施例提供一种基于LSTM模型的URL请求分类装置，包括：

获取单元：用于获取多个被认定为有害请求的URL和多个被认定为无害请求的URL；

向量化单元：用于将每个URL向量化，分别得到相应的向量矩阵；组合全部有害请求和无害请求的向量矩阵，得到一个三维矩阵X，三维矩阵X中每个URL的向量矩阵平行设置；将每个URL对应的标签向量化；组合全部有害请求和无害请求的URL向量化后的标签，得到一个标签向量Y；

模型生成单元，用于将三维矩阵X和标签向量Y输入长短期记忆网络LSTM模型进行训练，训练完成之后得到训练好的LSTM模型；