[发明专利]一种数据处理方法、系统、存储介质及终端

说明书

本发明提供一种数据处理方法、系统、存储介质及终端，包括：根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；根据核验结果，进行告警；本发明通过两种算法共同保障数据的准确性，通过基础算法先初步的一次比对筛选，筛选出一部分数据，再通过其他算法通过核验算法的二次比对筛选，计算出最终的核验数据，在提高了数据的准确性的基础上，降低了成本。

技术领域

本发明涉及电子领域，尤其涉及一种数据处理方法、系统、存储介质及终端。

背景技术

在安防领域中，针对布控告警任务，需要各种各样的算法进行支撑，由于各个算法在准确度上肯定都会存在一定的不准确性，而在一些重要的场景下，由于业务需要，数据又非常的重要，因此，针对这些特定的重要数据，需要提升整体的准确度。

目前，现有的方式通常包括两种，一种是通过增加训练的量，以提高算法的准确性，但难度很大，另一种是通过使用其他的已经相对成熟的算法，但这种方式会大大提高成本，并且由于核心算法SDK不易获取，对于产品来说，就失去了核心竞争力。有鉴于此，需要一种新的数据处理方法，能够满足针对重要的布控告警的数据，在保证准确性的前提下，不增加额外成本，获得更好的布控告警效果。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种数据处理方法、系统、存储介质及终端，以解决上述技术问题。

本发明提供的数据处理方法，包括：

根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；

若不启用算法核验，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警；

若启用算法核验，则先通过基础算法进行一次特征比对，再通过核验算法对一次特征比对结果进行解析和二次特征对比，获取核验结果；

根据所述核验结果，进行告警。

与本发明的一实施例中，如果所述核验结果大于等于所述告警阈值，且核验结果的数量大于等于核验预设数量，则取前核验预设数量的核验结果进行告警；

如果所述核验结果大于等于所述告警阈值，且核验结果的数量小于核验预设数量，则以实际数量进行告警；

如果所述核验结果小于所述告警阈值，则不进行告警。

与本发明的一实施例中，所述通过基础算法进行一次特征比对包括：

当数据消费后，将通过基础算法解析出来的特征与名单库的数据特征比对，先对比短特征，再根据短特征和长特征的对应关系，对一次特征比对结果进行长特征对比，将长特征对比结果作为核验结果。

与本发明的一实施例中，所述基础预设数量大于所述核验预设数量，一次特征比对结果和长特征对比结果包括相似度；

所述对一次特征比对结果进行长特征对比之前，包括先从磁盘中加载所述长特征到内存，再进行比对。

与本发明的一实施例中，当核验服务发生异常时，则通过基础算法进行一次特征比对，并以一次特征对比结果的基础预设数量进行告警并反馈异常信息。

与本发明的一实施例中，根据所述异常信息通过新进程启用算法核验，如服务恢复，则以核验结果进行告警，如服务未回复，则继续以一次特征对比结果的基础预设数量进行告警。

本发明还提供一种数据处理系统，包括：

配置模块，用于根据布控告警任务，预先配置是否启用算法核验、基础预设数量和核验预设数量和告警阈值；