[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本公开提供了一种数据处理方法、装置、设备及存储介质，针对待处理数据集中的待处理图像，通过确定每个待处理图像的图像特征向量以及被标注出的分类标签，从而确定待处理图像针对每个分类标签的置信度，通过各置信度可以确定待处理图像被标注出的分类标签是否正确，对于分类标签不正确的待处理图像，对其进行处理。这样，在数据集实际使用之前，可以通过图像针对每个分类标签的置信度，将分类标签标注错误的图像进行处理，以实现对数据集的处理，通过对标注错误的图像进行处理的方式，提升数据集中数据的准确性，降低错误数据带来的使用误差，有利于帮助提高训练模型的正确率和精度，有效减少人工介入进行数据核验和修改的工作量。

技术领域

本公开涉及计算机领域，具体而言，涉及一种数据处理方法、装置、设备及存储介质。

背景技术

细粒度商品分类、检索是智慧零售中的重要研究课题，而这个课题的基础则是大量的物品数据。为了实现物品检测的精准和快捷，目前大多通过训练神经网络，以得到可以对物品进行识别、分类和检索的模型，而训练样本的数据质量很大程度上影响着模型的效果。然而，训练样本的标注可能有错误，在这种情况下使用错误标注的数据进行模型的训练，会在训练的过程中对错误的标签过拟合，影响训练出的模型精度和准确度，导致模型检测结果的精度低，模型检测结果的准确度低。

发明内容

本公开实施例至少提供一种数据处理方法、装置、设备及存储介质。

本公开实施例提供了一种数据处理方法，所述方法包括：

针对待处理数据集中的待处理图像，确定每个待处理图像的图像特征向量，其中，每个待处理图像对应一个被标注出的分类标签；

针对所述待处理数据集中任一目标待处理图像，基于所述目标待处理图像的图像特征向量，确定所述目标待处理图像针对每个分类标签的置信度；

基于所述目标待处理图像针对每个分类标签的置信度，确定所述目标待处理图像被标注出的分类标签是否正确；

在所述目标待处理图像被标注出的分类标签不正确的情况下，对所述目标待处理图像进行处理。

这样，在数据集实际使用之前，可以通过数据集中任一目标待处理图像针对每个分类标签的置信度，判断图像被标注出的分类标签是否正确，从而对分类标签标注错误的图像进行处理，以实现对数据集的处理，通过对分类标签标注错误的图像进行处理的方式，提升数据集中数据的准确性，降低错误数据带来的使用误差，有利于帮助提高训练模型的正确率和精度，有效减少人工介入进行数据核验和修改的工作量。

一种可选的实施方式中，所述方法还包括：

通过预先训练好的特征提取模型分别对每个待处理图像进行特征提取，得到每个待处理图像的图像特征向量，其中，所述特征提取模型通过多批训练图像分批训练得到，每批次训练图像的分类标签相同，不同批次训练图像的分类标签不同。

这样，通过使用标注不同分类标签的训练图像对模型进行分批训练，有利于减少模型在训练的过程中对错误标签过拟合，使得训练得到的特征提取模型具有识别并提取各种不同分类标签下的图像特征的功能，提升特征提取模型的全面性和准确性，进一步保证提取出的图像特征向量的准确度。

一种可选的实施方式中，所述方法还包括：

确定每个分类标签对应的待处理图像；

基于每个分类标签所对应的待处理图像的图像特征向量，分别确定每个分类标签对应的特征均值；

所述基于所述目标待处理图像的图像特征向量，确定所述目标待处理图像针对每个分类标签的置信度，包括：

基于每个分类标签对应的特征均值和所述目标待处理图像的图像特征向量，确定所述目标待处理图像针对每个分类标签的置信度。