[发明专利]一种数据筛选方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据筛选方法、装置、电子设备及存储介质，接收用户侧发送的数据查询请求，从外部数据库获取与数据查询请求对应的原始指标数据，根据指标数据取值范围边界，从原始指标数据中剔除指标数据取值范围边界外的异常数据得到中间指标数据，然后基于异常检测策略剔除中间指标数据中的异常数据，得到最终的目标指标数据，异常检测策略能够筛选出局部离群因子。本发明通过指标数据取值范围边界和异常检测策略实现从原始指标数据中筛选出异常数据并剔除，达到了还原真实数据的目的，从而可以将对目标指标数据的多维度集中分析结果，精准的应用到后续的分析决策中。

技术领域

本发明涉及数据处理技术领域，更具体的说，涉及一种数据筛选方法、装置、电子设备及存储介质。

背景技术

目前，很多场景下需要对监控服务器采集的指标数据进行多维度的集中分析。但是，在指标数据的实时采集过程中，特别是监控服务器整体数量较多时，往往会有部分监控服务器，因系统环境异常等原因，造成采集到的指标数据和真实数据存在较大差异。当这些异常数据应用到多维度的集中分析时，会使分析结果有较大误差，从而影响后续的分析决策。

发明内容

有鉴于此，本发明公开一种数据筛选方法、装置、电子设备及存储介质，以实现通过指标数据取值范围边界和异常检测策略，从原始指标数据中筛选出异常数据并剔除，达到了还原真实数据的目的，从而可以将对目标指标数据的多维度集中分析结果，精准的应用到后续的分析决策中。

一种数据筛选方法，包括：

接收用户侧发送的数据查询请求；

从外部数据库获取与所述数据查询请求对应的原始指标数据；

从所述原始指标数据中剔除指标数据取值范围边界外的异常数据，得到中间指标数据；

基于异常检测策略，从所述中间指标数据中剔除异常数据，得到目标指标数据，其中，所述异常检测策略能够筛选出局部离群因子。

可选的，所述从外部数据库获取与所述数据查询请求对应的原始指标数据，包括：

解析所述数据查询请求，得到待查询数据内容；

将所述待查询数据内容转换为相应的查询语句；

将所述查询语句发送至所述外部数据库，并获取所述外部数据库返回的所述原始指标数据。

可选的，所述基于异常检测策略，从所述中间指标数据中剔除异常数据，得到目标指标数据，包括：

对所述中间指标数据中每个指标对应的每个指标数据，按照局部离群因子计算策略，分别计算得到每个所述指标数据对应的局部离群因子；

将每个所述局部离群因子与对应指标预定义的离群因子阈值进行大小比较；

将大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为异常数据进行剔除；

将不大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为所述目标指标数据。

可选的，所述对所述中间指标数据中的每个指标对应的每个指标数据，按照局部离群因子计算策略，分别计算得到每个所述指标数据对应的局部离群因子，包括：

将所述中间指标数据中的每个指标对应的每个指标数据作为一个数据点，并计算所述数据点的局部可达密度以及所述数据点的邻域点的局部可达密度；

计算所述数据点的邻域点的局部可达密度与所述数据点的局部可达密度之比的平均数，并将所述平均数确定为所述局部离群因子。

可选的，所述计算所述数据点的邻域点的局部可达密度与所述数据点的局部可达密度之比的平均数的表达式如下：