[发明专利]一种运营商数据的质量评估方法、装置、服务器及介质

说明书

本发明公开了一种运营商数据的质量评估方法、装置、服务器及介质，包括：采集数据源、接口机、集群、共享服务器环节的MR数据；判断数据源、接口机和集群的文件个数、文件存储大小三者是否相等，上报基站数量是否与工参基站数量相等；若文件个数的偏差大于第一预设阈值，则发出告警信息，若文件存储大小的偏差大于第二预设阈值，则发出告警信息，若上报基站数量少于工参基站数量的差值超过第三预设阈值，则发出告警信息；根据是否发出告警信息以及告警信息的类型次数分析运营商的数据是否存在异常、出现异常的环节以及各个判别异常的原因，并输出数据质量评估结果。本发明的数据质量监控，实现监控全程化、规则配置化和检测实时化。

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种运营商数据的质量评估方法、装置、服务器及介质。

背景技术

作为一种战略资源与生产要素的信息资源正在逐渐成为企业正常运转的基础，缺失、错误等异常数据必定产生错误或不准确的处理结果，导致错误或不准确的决策，对企业可能导致严重的甚至是致命的后果。因此，数据质量对于企业来说，显得至关重要。

数据质量保障工作目前存在如下问题：

(1)数据源复杂，完整性难以保障识别

A.数据量大：运营商数据每天上万G的数据量。B.数据种类繁多：运营商数据包括O域的无线数据，感知DPI数据，固网DPI数据，移动DPI数据，以及移动上网日志，B域数据，M域数据等。C.数据源多：运营商数据源包括OMC设备，SCA设备，核心网设备，省端统一网关设备等。基于以上数据量大、种类多、数据源多的情况下，很难保障和识别数据的完整性。

(2)数据处理链条长，问题定位效率低

数据处理链条较长，包括数据源环节、传输环节、采集环节、加工环节、入库环节、共享接口环节等，整个数据处理过程是封闭的，数据出现问题难以定位，对发生问题的环节不能快速识别，无自动预警机制。大多数都是靠人工定位筛查，运维成本较高，自动化程度低，导致高成本的低效率维护现状。

(3)缺乏标准化、平台化的数据质量检测体系

整个运营商数据缺少标准化的数据质量监控保障体系，配置化地设置数据质量检测点，支持数据质量的全程监控，提供全面及时的数据质量报告，并提供配置化的告警设置。

发明内容

本发明实施例提供一种运营商数据的质量评估方法、装置、服务器及介质，以实现监控全程化、规则配置化和检测实时化。

第一方面，本发明实施例提供了一种运营商数据的质量评估方法，包括：

步骤一、采集数据源环节、接口机环节、集群环节、共享服务器环节的MR数据，其中，所述MR数据包括：A.数据源的文件个数、接口机的文件个数和集群的文件个数；B.数据源的文件存储大小、接口机的文件存储大小和集群的文件存储大小；C.集群上报基站数量、共享服务器上报基站数量；

步骤二、判断数据源的文件个数、接口机的文件个数和集群的文件个数三者是否相等，数据源的文件存储大小、接口机的文件存储大小和集群的文件存储大小三者是否相等，集群上报基站数量、共享服务器上报基站数量是否与工参基站数量相等；

步骤三、若数据源的文件个数、接口机的文件个数和集群的文件个数的偏差大于第一预设阈值，则发出告警信息，若数据源的文件存储大小、接口机的文件存储大小和集群的文件存储大小的偏差大于第二预设阈值，则发出告警信息，若集群上报基站数量、共享服务器上报基站数量分别少于工参基站数量的差值超过第三预设阈值，则发出告警信息；

步骤四、根据是否发出告警信息以及告警信息的类型次数分析运营商的数据是否存在异常、出现异常的环节以及各个判别异常的原因，并输出数据质量评估结果。

可选的，所述MR数据还包括：D.掉话率、imsi有效率、agps上报率。