[发明专利]一种信息处理方法及装置

权利要求书

1.一种信息处理方法，所述方法包括：

在数据集成的过程中，对集成的第一数据集进行特征提取得到数据集特征，所述数据集特征用于检测所述第一数据集的信息量是否异常；

根据所述特征提取的时间顺序存储所述数据集特征，得到数据集特征序列；

根据动态生成的特征阈值，对所述数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据；

针对所述信息量异常的数据，进行数据补录得到第二数据集。

2.根据权利要求1所述的方法，所述对集成的第一数据集进行特征提取得到数据集特征，包括：

根据预先定义的特征计算方法，对集成的第一数据集进行特征提取得到数据集特征。

3.根据权利要求2所述的方法，所述预先定义的特征计算方法包括聚合和统计方法，相应地，在将聚合的统计结果与动态阈值进行比较时，采用查表法。

4.根据权利要求1所述的方法，根据动态生成的特征阈值，对所述数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据，包括：

根据离群点分析模型动态生成的特征阈值，对所述数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据。

5.根据权利要求4所述的方法，所述方法还包括：

从数据集特征序列定期获取历史数据集特征数据；

基于特征定义所设置的特征属性确定离群点算法和模型训练参数；

根据所述历史数据集特征数据、所述离群点算法和所述模型训练参数对离群点分析模型进行训练得到所述离群点分析模型。

6.根据权利要求1所述的方法，根据动态生成的特征阈值，对所述数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据，包括：

根据定时程序定时计算离群点区间动态生成的特征阈值，对所述数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据。

7.根据权利要求1所述的方法，在数据集成的过程中，所述方法还包括：

缓存数据处理定义。

8.根据权利要求7所述的方法，所述针对所述异常数据进行数据补录得到第二数据集，包括：

根据所述异常数据，从所述缓存的数据处理定义中获取与所述异常数据对应的第一数据处理定义；

根据所述第一数据处理定义，重新执行与所述第一数据处理定义对应的数据集成得到第三集成数据；

将所述第三集成数据补录到所述第一数据集得到第二数据集。

9.根据权利要求1所述的方法，所述方法还包括：

确定数据补录的启动时间、补录作业延后时间差值和数据补录作业相关特征值；

根据所述数据补录的启动时间、补录作业延后时间差值和数据补录作业相关特征值进行补录作业间隔时间和补录次数分析得到补录作业策略；

根据所述补录作业策略进行多次数据补录得到第二数据集。

10.一种信息处理装置，所述装置包括：

数据集特征提取模块，用于在数据集成的过程中，对集成的第一数据集进行特征提取得到数据集特征，所述数据集特征用于检测所述第一数据集的信息量是否异常；

数据集特征存储模块，用于根据特征提取的时间顺序存储所述数据集特征，得到数据集特征序列；

信息量检测模块，用于根据动态生成的特征阈值，对所述数据集特征序列中的数据集特征进行信息量检测得到信息量异常的数据；

数据补录模块，用于针对所述信息量异常的数据，进行数据补录得到第二数据集。