[发明专利]一种数据清洗方法、装置、计算机设备和存储介质

说明书

本发明实施例提供了一种数据清洗方法、装置、计算机设备和存储介质，该方法包括：从待清洗数据中查找与预设特征值匹配的特征数据，特征值为根据无效数据所生成的值，进一步计算特征数据的置信度，当根据置信度确定特征数据为无效数据时，对待清洗数据中的、确定为无效数据的特征数据清洗得到清洗后的数据，由于通过计算置信度来确定特征数据是否为无效数据，避免了与预设特征值匹配的有效的特征数据被清洗掉，提升了识别无效数据的准确性，实现了准确清洗无效数据，通过清洗后的数据进行大数据分析，能够提高汽车大数据分析的准确性。

技术领域

本发明实施例涉及汽车数据处理技术领域，尤其涉及一种数据清洗方法、装置、计算机设备和存储介质。

背景技术

新能源汽车在国家的大力推动下，多数车企都建立了车联网平台，但是由于传感器或者传输的TBOX质量问题，抑或车辆在穿越隧道或者在地下时等信号弱的地段时，由于网络信号延时导致新能源汽车传输的数据信号出现无效或者缺失，即可能产生无效数据，为了更好地实现对汽车上传数据的大数据分析，则需要对无效数据进行清洗，保证大数据算法的模型和结果的准确性。

现有清洗无效数据的方法主要为：预先设置默认的无效数据，在识别数据中存在无效数据时将无效数据删除，但当数据有效却恰好等于该默认的无效数据时，以上方法容易误删有效的数据，影响汽车大数据分析的准确性。

发明内容

本发明实施例提出了一种数据清洗方法、装置、计算机设备和存储介质，以解决现有方法可能会误删有效数据，影响汽车大数据分析的准确性的问题。

第一方面，本发明实施例提供了一种数据清洗方法，包括：

从待清洗数据中查找与预设特征值匹配的特征数据，所述特征值为根据无效数据所生成的值；

计算所述特征数据的置信度；

当根据所述置信度确定所述特征数据为无效数据时，对所述待清洗数据中的、确定为无效数据的所述特征数据进行清洗，得到清洗后的数据。

可选地，计算所述特征数据的置信度，包括：

获取所述特征数据的第一参考数据；

基于所述第一参考数据计算所述特征数据的至少一个置信度；

和/或，

将所述特征数据输入数据检测模型中确定所述特征数据的置信度。

可选地，在所述当根据所述置信度确定所述特征数据为无效数据时，对所述待清洗数据中的、确定为无效数据的所述特征数据清洗，得到清洗后的数据之前，还包括：

根据所述置信度判断所述特征数据是否为无效数据。

可选地，所述根据所述置信度判断所述特征数据是否为无效数据，包括：

若所述置信度的数量为多个，对所述置信度加权求和得到所述特征数据的总评分；

在所述总评分大于预设值时确定所述特征数据为无效数据；

在所述总评分小于预设值时确定所述特征数据为有效数据。

可选地，述当根据所述置信度确定所述特征数据为无效数据时，对所述待清洗数据中的、确定为无效数据的所述特征数据清洗，得到清洗后的数据，包括：

获取确定为无效数据的所述特征数据的时间戳；

统计所述时间戳下确定为无效数据的特征数据的总数量；

判断所述总数量是否大于预设数量；

若是，删除所述时间戳下的所有数据；

若否，确定目标数据；