[发明专利]一种基于机器学习的传感数据质量评估方法

说明书

本文公开了一种基于机器学习的传感数据质量评估方法，方法主要包括：对传感数据质量评估的研究，在传统数据质量评估流程中引入机器学习分类算法。首先对传感数据集进行数据质量指标的分析计算，然后进行数据质量的标注；利用标注的数据集训练得到分类算法模型，算法通过对过采样进行加权处理、对集成学习算法加入代价敏感因子，使得算法整体更加偏向分类错误的少数类样本，并且对数据质量差的数据更为重视；利用模型进行数据质量的坏点分离并得出整体数据质量评估。本发明通过引入机器学习算法，根据传感数据质量特点，对传统分类算法进行改进，可以实现在数据量大时，对数据进行定量与定性结合、自动化的评估，达到了较高的效率。

技术领域

本发明涉及数据质量研究领域，聚焦于传感数据研究，具体涉及一种基于机器学习的传感数据质量评估方法。

背景技术

工业互联网、云计算等新一代信息技术的持续发展，以及各个领域如农业、金融、工业、物联网等数字化业务的建立，带来了数据量爆炸式的积累。工业互联网发展为传感器带来巨大机会的同时，也对传感器数据质量提出了新的要求。数据质量是首要考虑因素，应作为最基本的需求考虑。如果数据质量不能得到良好的评估、进行及时的相应处理，带来的不仅仅是信息判断的误差，还可能会出现对后期发展的判断失误，从而导致经济、时间上的损失，因此评估数据质量有着重要意义，这决定着后续企业、机构能否准确地利用传感等数据获得决策信息。

国内外对数据质量的研究较多关注点还是在于数据的存储、挖掘分析等方面，对数据质量评估问题仍不够重视。数据质量评估是数据管理中的重要一环，是数据管理过程的关键问题。目前现有的数据质量评估方法，主要是根据相关标准、规范，通过问卷、访谈等方式，由有经验的专家人工进行评估、分析。但数据质量评估过程复杂，在数据量小时这种评估方式尚可，在数据量指数增长后，这种评估方式变得效率低下，因此，需要一种能够减轻评估成本、提高评估效率的数据质量评估方法。

本发明为了解决以上问题，将机器学习分类算法引入到传统数据质量评估流程中，提出了一种基于机器学习的传感数据质量评估方法，能够同时评估整体数据质量以及局部数据点的质量，分离出好坏数据，减少大量人工质量评估，提高评估效率。

发明内容

本发明主要综合了权威的数据质量评估指标，将机器学习分类算法加入到对数据质量评估流程中，同时根据传感数据集满足不平衡数据的两个定义，选取机器学习中的不平衡数据分类算法。并对不平衡数据分类算法做出了改进，提高分类效果，能够同时评估整体数据质量以及局部数据点的质量，分离出好坏数据，减少大量人工质量评估流程，提高评估效率，发明的方法流程为：

步骤1：接入约定格式的数据，对数据进行预处理；

步骤2：根据数据的完整性、有效性、一致性、及时性指标对数据进行分析，进行数据质量的标注；

步骤3：将数据一部分作为训练集输入到改进的SMOTE算法与改进的AdaBoost算法结合提出的算法中进行训练，得到数据质量分类模型；

步骤4：利用步骤3得出的模型对数据进行数据质量分类，分离出单个数据坏点，得出总体数据优良率。

步骤3中的改进算法整体上继承了经典Boosting：AdaBoost算法的基础结构，算法起始时输入原始的不平衡样本集、弱分类算法、迭代轮次，然后经过指定的迭代轮次训练后得到多个弱分类器，综合多个弱分类器的分类效果，组合成强分类器。在迭代的样本准备阶段，加入本方法提出的WSMOTE过采样算法，对少数类进行采样，挑选对分类贡献较大的少数类样本，以此作为根本样本生成新的少数类样本，使得数据集均衡化；在AdaBoost的样本权值更新中，利用代价敏感思想为错分的少数类样本赋予更多的权值，使算法在下一轮迭代时专注于较难处理的样本。

本发明具有以下特点：1)对数据进行定量与定性得结合评估方法，同时能够很好的评估数据的整体质量；2)引入机器学习进行数据质量评估，对于大规模数据质量评估需求，能够有效地提升效率与准确性，完成自动化的数据质量评估。