[发明专利]一种数据清洗方法、装置及计算机可读存储介质

摘要

本发明涉及一种数据清洗方法、装置及计算机可读存储介质；该方法包括获取结构化数据和时效约束，对所有元组建立时序图，并经传递规约后得到时效子图；基于时序子图计算每条元组的时效值；以时效性‑一致性联合修复距离作为指标，计算错误元组和高质量元组之间的编辑距离，选择满足一致性规则约束，且与该错误元组时效值最为接近的修复模式对错误元组进行一致性修复；利用贝叶斯填充方法，将元组的时效值作为该元组的新增属性参与贝叶斯的训练过程，实现对缺失值的填充；得到清洗后的数据集。本发明能够对数据集中同时存在的时间戳不可用、不完整属性值、不一致属性值这三种数据质量问题进行有效地识别和修复。