[发明专利]一种信息处理方法及装置

说明书

本申请公开了一种信息处理方法及装置。该方法包括：该方法通过在数据集成的过程中，对集成的数据集进行特征提取；之后，根据所述特征提取的时间顺序存储所述数据集特征，得到数据集特征序列；随后，根据动态生成的特征阈值，对所述数据集特征序列中的数据集特征进行信息量检测得到需要补录的异常数据；然后，针对这些需要补录的数据进行补录。由于在检测数据的时候是通过比对数据集的特征而非数据集本身，大大减少了要比对的信息量，从而可以实现信息量的快速检测和精准分析。此外，特征的提取是在数据集成的过程中定期进行的，具有很强的时效性，可缩小需要补录的数据范围，并及时针对需要补录的数据片段进行精准补录。

技术领域

本申请涉及计算机信息处理领域，尤其涉及一种信息处理方法及装置。

背景技术

在对不同数据库监控数据进行集成的过程中，可能会出现部分数据缺失，或者某个数据的部分监控值缺失的情况。这一情况可能是由于源数据库数据质量问题引发的，也可能是由于某些处理过程异常造成的。

上述问题可以通过数据的重新抓取和补录得以解决，但是当集成的数据量很大的情况下，进行数据的逐一检查和比较是异常困难的，这就导致很难快速发现缺失的数据；即便发现数据缺失，也很难针对特定数据片段数据进行补录。

发明内容

本申请实施例提供了一种方法及装置。

根据本申请实施例第一方面，一种信息处理方法，该方法包括：在数据集成的过程中，对集成的第一数据集进行特征提取得到数据集特征，数据集特征用于检测第一数据集的信息量是否异常；根据特征提取的时间顺序存储数据集特征，得到数据集特征序列；根据动态生成的特征阈值，对数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据；针对信息量异常的数据，进行数据补录得到第二数据集。

根据本申请实施例一实施方式，对集成的第一数据集进行特征提取得到数据集特征，包括：根据预先定义的特征计算方法，对集成的第一数据集进行特征提取得到数据集特征。

根据本申请实施例一实施方式，预先定义的特征计算方法包括聚合和统计方法，相应地，在将聚合的统计结果与动态阈值进行比较时，采用查表法。

根据本申请实施例一实施方式，根据动态生成的特征阈值，对数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据，包括：根据离群点分析模型动态生成的特征阈值，对数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据。

根据本申请实施例一实施方式，使用历史数据集特征数据定期对离群点分析模型进行训练得到离群点分析模型，包括：从数据集特征序列定期获取历史数据集特征数据；基于特征定义所设置的特征属性确定离群点算法和模型训练参数；根据历史数据集特征数据、离群点算法和模型训练参数对离群点分析模型进行训练得到离群点分析模型。

根据本申请实施例一实施方式，根据动态生成的特征阈值，对数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据，包括：根据定时程序定时计算离群点区间动态生成的特征阈值，对数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据。

根据本申请实施例一实施方式，在数据集成的过程中，该方法还包括：缓存数据处理定义。

根据本申请实施例一实施方式，针对异常数据进行数据补录得到第二数据集，包括：根据异常数据，从缓存的数据处理定义中获取与异常数据对应的第一数据处理定义；根据第一数据处理定义，重新执行与第一数据处理定义对应的数据集成得到第三集成数据；将第三集成数据补录到第一数据集得到第二数据集。

根据本申请实施例一实施方式，该方法还包括：确定数据补录的启动时间、补录作业延后时间差值和数据补录作业相关特征值；根据数据补录的启动时间、补录作业延后时间差值和数据补录作业相关特征值进行补录作业间隔时间和补录次数分析得到补录作业策略；根据补录作业策略进行多次数据补录得到第二数据集。