[发明专利]一种数据处理方法、装置及设备

说明书

本申请提供一种数据处理方法、装置及设备，该方法包括：获取无标签数据集，无标签数据集包括多个无标签数据，无标签数据对应多个伪标签；针对每个基础模型，从无标签数据集中选取基础模型对应的目标无标签数据；针对无标签数据集中每个无标签数据，基于该无标签数据对应的多个伪标签，确定该无标签数据针对基础模型的第一不确定度、该无标签数据针对基础模型之外的剩余基础模型的第二不确定度；基于第一不确定度和第二不确定度确定该无标签数据是基础模型对应的目标无标签数据或不是基础模型对应的目标无标签数据；基于基础模型对应的目标无标签数据对基础模型进行训练，得到目标模型。通过本申请的技术方案，能够节约人力资源，减少标定时间。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音识别和手写识别等。

为了采用机器学习实现人工智能处理，可以构建训练数据集，该训练数据集包括大量有标签数据(如图像数据，即具有标定框和标定类别的图像)，基于训练数据集训练出机器学习模型，如具有目标检测功能的机器学习模型，可以采用机器学习模型对待检测数据进行目标检测，比如说，检测待检测数据中的目标框，并识别出目标类别，如车辆类别、动物类别、电子产品类别等。

为了提高机器学习模型的性能，需要获取大量有标签数据，有标签数据越多，则训练出的机器学习模型的性能越好。但是，为了得到大量有标签数据，需要对大量数据进行标注操作，需要耗费大量人力资源，并消耗大量时间。

发明内容

本申请提供一种数据处理方法，所述方法包括：

获取无标签数据集，所述无标签数据集包括多个无标签数据；针对每个无标签数据，该无标签数据对应多个伪标签，所述多个伪标签是将该无标签数据输入给多个基础模型后，由所述多个基础模型输出的伪标签；

针对每个基础模型，从所述无标签数据集中选取所述基础模型对应的目标无标签数据；其中，针对无标签数据集中每个无标签数据，基于该无标签数据对应的多个伪标签，确定该无标签数据针对所述基础模型的第一不确定度、该无标签数据针对所述基础模型之外的剩余基础模型的第二不确定度；基于所述第一不确定度和所述第二不确定度确定该无标签数据是所述基础模型对应的目标无标签数据，或不是所述基础模型对应的目标无标签数据；

基于所述基础模型对应的目标无标签数据对所述基础模型进行训练，得到已训练的目标模型；其中，所述目标模型用于对应用数据进行数据处理。

本申请提供一种数据处理装置，所述装置包括：

获取模块，用于获取无标签数据集，所述无标签数据集包括多个无标签数据；针对每个无标签数据，该无标签数据对应多个伪标签，所述多个伪标签是将该无标签数据输入给多个基础模型后，由所述多个基础模型输出的伪标签；

确定模块，用于针对每个基础模型，从所述无标签数据集中选取所述基础模型对应的目标无标签数据；其中，针对无标签数据集中每个无标签数据，基于该无标签数据对应的多个伪标签，确定该无标签数据针对所述基础模型的第一不确定度、该无标签数据针对所述基础模型之外的剩余基础模型的第二不确定度；基于所述第一不确定度和所述第二不确定度确定该无标签数据是所述基础模型对应的目标无标签数据，或不是所述基础模型对应的目标无标签数据；

训练模块，用于基于基础模型对应的目标无标签数据对所述基础模型进行训练，得到已训练的目标模型；所述目标模型用于对应用数据进行数据处理。