[发明专利]数据处理方法、装置、计算机设备及存储介质

摘要

本发明公开了一种数据处理方法、装置、计算机设备及存储介质。所述方法包括：获取初始样本数据集合中的样本数据的数量，执行数据采样流程；将待打标数据集合中噪声待打标数据进行清除并保留共性待打标数据；从共性待打标数据中选取第一待打标数据，并复制得到第二待打标数据；对第一待打标数据使用第一打标规则进行数据打标得到第一打标数据，对第二待打标数据使用第二打标规则进行数据打标得到第二打标数据；若第一打标数据中的标注结果和第二打标数据中的标注结果不一致，将第一打标数据和第二打标数据记录为无效数据并将清除。本发明通过提前清除用于模型训练的样本数据中的无效数据，可以提高了模型训练的训练效果和检测效果。

主权项

1.一种数据处理方法，其特征在于，包括：获取初始样本数据集合中的样本数据的数量，并执行数据采样流程，且所述数据采样流程的执行次数与所述样本数据的数量一致，所述数据采样流程包括：从所述初始样本数据集合中随机剪切一个样本数据放入待打标数据集合中作为待打标数据，再将剪切的所述样本数据复制之后放回所述初始数据集合中；将所述待打标数据集合中噪声待打标数据进行清除并保留共性待打标数据，所述噪声待打标数据是指冗余或/和异常错误的待打标数据，所述共性待打标数据是指除所述噪声待打标数据之外的待打标数据；从所述待打标数据集合的所述共性待打标数据中选取第一待打标数据，并对选取的所述第一待打标数据进行复制之后，得到第二待打标数据；对所述第一待打标数据使用第一打标规则进行数据打标得到第一打标数据，同时对所述第二待打标数据使用第二打标规则进行数据打标得到第二打标数据，并将所述第一打标数据和所述第二打标数据存储至预设数据库，所述第一打标数据和所述第二打标数据是带有标注结果的打标数据；判断所述第一打标数据中的标注结果和所述第二打标数据中的标注结果是否一致；若所述第一打标数据和所述第二打标数据中的标注结果不一致，则将所述第一打标数据和所述第二打标数据记录为无效数据，并将所述第一打标数据和所述第二打标数据从所述预设数据库中清除。