[发明专利]一种异常数据识别方法、系统、设备及存储介质

说明书

本发明公开了一种异常数据识别方法，涉及数据识别技术领域，一种异常数据识别方法，包括如下步骤：获取待检测的目标数据；判断目标数据为结构化数据或非结构化数据；若目标数据为结构化数据，则将目标数据输入到预先构建的树模型中，由树模型输出识别结果判定目标数据为正常数据或异常数据；若目标数据为非结构化数据，则将目标数据输入到预先构建的神经网络模型中，由神经网络模型输出识别结果判定目标数据为正常时数据或异常数据。本发明所提供的方法通过对目标数据进行判断、分类，判断目标数据属于结构化数据还是非结构化数据，依据数据类型，将待检测的目标数据送入对应的预测模型中，可提高模型的识别效率和准确率。

技术领域

本发明涉及数据识别技术领域，具体而言，涉及一种异常数据识别方法。

背景技术

结构化数据和非结构化数据是大数据的两种类型，这两者之间并不存在真正的冲突。客户如何选择不是基于数据结构，而是基于使用它们的应用程序，关系数据库用于结构化数据，大多数其他类型的应用程序用于非结构化数据。

在进行异常数据识别时，异常数据的类型可能是结构化数据也可能是非结构化数据，现有技术中未进行数据的区分，而是将两种结构的数据均放到同一分类模型中进行区分，这可能会出现识别效率慢、识别不准确等状况。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种异常数据识别方法、系统、设备及存储介质，用于提高异常数据的识别效率。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种异常数据识别方法，包括以下步骤：S101、获取待检测的目标数据；S102、判断上述目标数据为结构化数据或非结构化数据；S103、若上述目标数据为结构化数据，则将上述目标数据输入到预先构建的树模型中，由上述树模型输出识别结果判定上述目标数据为正常数据或异常数据；S104、若上述目标数据为非结构化数据，则将上述目标数据输入到预先构建的神经网络模型中，由上述神经网络模型输出识别结果判定上述目标数据为正常时数据或异常数据。

基于第一方面，在本发明一些实施例中，上述判断上述目标数据为结构化数据或非结构化数据包括:构建分类器模型，将上述目标数据输入分类器模型中，由上述分类器模型输出分类结果。

基于第一方面，在本发明一些实施例中，上述树模型的构建包括：S201、获取原始训练样本；S202、对上述原始训练样本进行处理得到目标训练集； S203、基于上述目标训练集进行模型训练得到树模型。

基于第一方面，在本发明一些实施例中，上述对上述原始训练样本进行处理得到目标训练集包括：基于随机孤立森林算法计算上述原始训练样本的异常分值；将上述异常分值与预设的阈值进行对比，根据对比结果对上述原始训练样本进行分类，分类得到正样本和负样本；对上述正样本和上述负样本进行随机组合，形成目标训练集。

基于第一方面，在本发明一些实施例中，上述基于上述目标训练集进行模型训练得到树模型包括：将上述目标训练集随机切分成K等份的训练子集，其中，K为正整数；随机抽取K-1份上述训练子集组合形成模型训练集，对初始二叉树模型进行模型训练；将剩余的上述训练子集作为交叉验证集，对训练后的上述初始树模型进行交叉验证，输出验证结果；根据上述验证结果对上述初始树模型进行迭代更新，直至上述初始树模型收敛，输出收敛后的树模型。

基于第一方面，在本发明一些实施例中，上述结构化数据包括数字、符号。

基于第一方面，在本发明一些实施例中，上述非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息。