[发明专利]一种基于多源迁移学习的数据校验方法

说明书

本发明提出了一种基于多源迁移学习的数据校验方法。本发明的方法为提取源数据集以及目标训练集对应的站点业务数量并进行归一化；通过迁移学习模型SVR模型以及径向基函数构建基于权重的SVR模型；初始化源数据以及目标省份的站点权重并进行归一化，通过分别合并归一化源数据集、归一化目标训练数据集、归一化业务数据量训练集以及归一化业务数量得到合并训练集；将合并训练集以及归一化向量建立预测模型并计算模型误差参数；多次迭代并计算最终的预测模型；用最终的预测模型得到目标省份的预测站点业务数量，并对预测站点业务数量进行反归一化；与现有技术相比，本发明提高了数据质量，节约了数据资源。

技术领域

本发明属于迁移学习的范畴，尤其涉及一种基于多源迁移学习的数据校验方法。

背景技术

国家电网通信管理系统(TMS)作为电力公司的第二张实体网络，承载着电网运行和经营管理的核心业务，是电网安全、稳定、经济运行的重要保障。作为电力公司通信专业的核心管理系统，TMS系统在资源管理、实时监控、运行管理方面发挥了巨大作用，同时也积累了大量数据。TMS系统的以数据库的形式进行保存，各单位独立部署数据库服务器。主要包含TMS资源数据、告警数据、工单数据、内部各模块产生的业务数据；国网通信公司和各分部、省公司、直辖市，上下级系统之间资源属地化、工单流转、统计数据上报、任务下发、告警数据上报等数据；同级的外部系统存在台账数据、工作流等数据流转。但是TMS系统数据质量问题严重影响着实际生产中的数据分析与决策，主要表现在静态资源数据与实际不符、动态资源数据关联错误、基础数据保鲜实施不到位三个方面，主要影响了TMS系统为电力通信精益化管理提供坚强支撑的现实意义。与此同时，TMS系统中不同省份数据大小差异很大。网络规模较小的省公司数据规模在1G～2G，像国网通信等网络规模大的单位，数据规模达到30G～40G，特别的对于一些特殊业务相对偏远地区的数据甚至只有几百kb，这些数据根本不足以训练一个好的传统机器学习模型。

数据的丢失、错误、过期等数据质量问题一直是大数据分析的一个重要课题，每年应为数据质量问题都会给社会带来巨大的损失。根据德国数据分析机构的调查显示：“美国每年因为劣质数据而造成的损失高达6000亿美元”，在美国由于数据错误引起的医疗事故每年使98000名患者丧生。对于TMS系统，电力业务管理频度低，业务管理数据多以报表式月度数据为主，没有实现按天(或更高频度)对业务进展和状态的管理。其次，业务过程数据录入维护不及时，数据生成时间滞后于业务过程，从而产生了大量不符合实际的数据，这现象对公司对实际生产中的业务进行判断和决策带来严重的影响，所以我们在进行数据分析之前必须关注数据的本身。本发明通过对站点业务数量的预测来判断站点系统中业务数量是否缺失，从而找到异常站点。这方面数据根据地区省份的不同差异很大。对于数据量足够的省份，传统的机器学习方法可以取得不错的效果，例如支持向量回归机、神经网络等算法，但是传统的机器学习要求训练数据和测试数据的分布保持一致，各个省份的数据并不能放在一起训练，所以对于数据量小的地区的训练就会出现问题，如果强行用一个地区的数据进行分析会因为数据不够而得到不好的模型，或者把各个省份的数据放在一起训练会因为各个数据集分布的不一致而导致模型效果变差。本发明基于此提出了利用其它省份的数据通过迁移学习方法训练目标数据，达到异常站点检测的目的。