[发明专利]异常情报数据识别机器学习方法

说明书

本发明公开了异常情报数据识别机器学习方法，属于情报数据处理领域，主要解决现有异常情报数据识别在实际工程应用中需要人工大量反复调试，难以直接应用的问题。首先收集信源历史情报数据，并对异常数据人工分析研判，形成原始数据库。然后设定训练样本向量构成，特征提取生成异常情报数据识别训练数据集。再进一步拟合情报数据的概率分布，结合有标签数据集迭代生成最佳门限概率，生成异常情报数据识别模型。该系统自动训练生成异常情报数据识别模型，完全避免了人工对模型参数的大量调试操作，具有模型生成速度快、实用效果好的优点。

技术领域

本发明隶属于情报数据处理领域，涉及异常情报数据判别式的机器学习生成，适用于情报预处理环节。

背景技术

异常情报数据是在情报预处理中偏离其他观测数据太远，以致可以认为是由不同机制产生的数据。异常情报数据的存在会使得情报数据的处理受到影响，降低情报的准确性、可靠性。由此，对异常情报数据的识别、检测是情报数据处理的前提。目前常用的异常情报数据识别方法主要有基于最小二乘估计、多项式滤波与平滑微分技术以及基于观测模型和状态模型的Kalman实时预报和控制技术等，这些技术方法是研究人员在不同假设下通过推导得到的，在实际应用中存在假设不合理、门限无法确定等问题，需要人工结合情报数据自身特点，利用实测数据对所采用的模型和相应的门限参数进行反复的修改和调试。在缺乏标准化自动化调试步骤和方法的情况下，异常情报数据识别模型调试将耗费人工大量时间和精力，并且调试后的最终识别效果也难以达到最优，因此现有异常情报数据识别方法尚难以解决实际工程中的异常情报数据识别问题，离实际需求还存在一定的差距。

发明内容

本发明的目的是提出异常情报数据识别机器学习方法，旨在解决现有异常情报数据识别方法在实际应用中，需要人工利用实测数据进行反复修改和调试的问题。

本发明所述的异常情报数据识别机器学习方法，具体包括以下技术措施：收集信源的历史情报数据，对信源的情报数据进行人工分析研判，对一条情报记录中确定为异常情报和确定为非异常情报的数据分别进行标记，存储相应的情报数据及人工分析研判结果，形成有标签数据库，剩余未进行标记的情报数据不做处理，形成异常情报数据识别训练原始数据库。设定情报数据训练样本向量构成，基于异常情报数据识别训练原始数据库和有标签数据库，通过特征提取，分别生成无标签数据集及有标签数据集，共同构成异常情报数据识别训练数据集。进一步通过数据可视化观察数据集的分布情况，忽略数据集的标签，选择相应的概率分布对整个异常情报数据识别训练数据集进行概率密度的拟合，使得数据集的每一维数据满足相应的概率分布，进一步得到所拟合的概率密度的参数，并通过数据可视化对数据的拟合情况进行验证。建立异常情报数据判别模型和目标优化函数，利用有标签数据集和所拟合的概率密度，计算有标签数据集中各样本在拟合概率密度中的概率，结合有标签数据集中样本是否异常标签，通过反复迭代使目标函数达到最优，学习生成模型参数，最终得到异常情报数据判别方法。

本发明提出的异常情报数据识别机器学习方法，可基于实测数据，自动训练生成判别方法，完全避免了人工对模型参数的大量调试操作，具有模型生成速度快、实用效果好等优点，所生成的异常情报数据判别方法无需调试可直接用于解决实际工程中的情报数据判别问题。

附图说明

图1是异常情报数据识别机器学习方法流程图；

图2是情报记录中异常情报数据和正常情报数据及训练样本向量构建示意图。

具体实施方式

本发明提出的异常情报数据识别机器学习方法技术方案包括以下步骤：

步骤1：收集信源的历史情报数据，形成异常情报数据识别训练原始数据库，简称为原始数据库；对正常或异常的情报数据进行人工分析标记，存储相应的情报数据及人工标记结果，形成有标签数据库；