[发明专利]模型训练、图像处理方法、装置、设备及存储介质

说明书

本公开涉及一种模型训练、图像处理方法、装置、设备及存储介质。本公开通过包含有多模态信息如图像信息和文本信息的第一数据集进行模型训练，得到第一轮迭代训练后的模型。以第一轮迭代训练后的模型为基准进行多轮迭代训练，得到预训练模型，并且在每一轮迭代训练之前，对上一轮迭代训练采用的目标数据集进行更新。根据更新后的目标数据集，对上一轮迭代训练后的模型进行本轮迭代训练后，可使得本轮迭代训练后的模型相比于上一轮迭代训练后的模型更加精准。将该预训练模型作为下游任务例如废钢等级判定任务的起始模型，并根据下游任务中的样本数据对该预训练模型进行微调后，使得微调后的预训练模型精准的判定废钢等级，从而有效节约了废钢资源。

技术领域

本公开涉及信息技术领域，尤其涉及一种模型训练、图像处理方法、装置、设备及存储介质。

背景技术

目前，图像处理技术已经被广泛应用在各个领域。例如，通过对整车废钢进行图像采集，然后采用图像处理技术，判定整车废钢的等级。

但是，目前通过图像处理技术对整车废钢的等级判定不够精准，导致废钢资源得不到有效的利用。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种模型训练、图像处理方法、装置、设备及存储介质，以精准的判定废钢等级，节约废钢资源。

第一方面，本公开实施例提供一种模型训练方法，包括：

获取上一轮迭代训练后的模型、以及所述上一轮迭代训练采用的目标数据集，所述目标数据集至少包括第一数据集，所述第一数据集包括多个第一样本，所述第一样本包括第一图像和所述第一图像中目标对象的文本信息，所述第一数据集用于模型训练得到第一轮迭代训练后的模型，所述上一轮迭代训练后的模型是所述第一轮迭代训练后的模型，或者是以所述第一轮迭代训练后的模型为基准经过至少一轮迭代训练后的模型；

通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新；

根据更新后的目标数据集，对所述上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型，通过多轮迭代训练后得到预训练模型。

第二方面，本公开实施例提供一种模型训练方法，所述方法包括：

获取样本数据集中的第一图像和第二图像；

根据待训练的机器学习模型，对所述第一图像和所述第二图像分别进行检测，得到所述第一图像的第一检测结果和所述第二图像的第二检测结果，所述待训练的机器学习模型的初始参数是预训练模型的参数，所述预训练模型是根据如第一方面所述的方法得到的；

对所述第一图像中的多个第一候选区域和所述第二图像中的多个第二候选区域进行融合处理，得到多个第三候选区域；

根据所述多个第三候选区域，得到第三检测结果，所述第一检测结果、所述第二检测结果和所述第三检测结果分别包括至少一个目标区域、以及每个目标区域中目标对象的类别；

根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型。

第三方面，本公开实施例提供一种图像处理方法，所述方法包括：

获取待处理的目标图像；

将所述目标图像输入到训练后的机器学习模型，使得所述训练后的机器学习模型输出所述目标图像中的至少一个目标区域、以及每个目标区域中目标对象的所属类别的置信度，所述训练后的机器学习模型是根据如第二方面所述的方法得到的；

根据每个目标区域中目标对象所属类别的置信度，确定所述目标图像中的目标对象的级别。

第四方面，本公开实施例提供一种废钢等级判定方法，所述方法包括：