[发明专利]图像处理方法、设备和介质

说明书

公开了图像处理方法、设备和介质。所述图像处理方法包括：通过第一处理网络，提取输入图像的第一特征图，并基于第一特征图确定第一置信度图，其中第一处理网络是完成训练的网络，第一置信度图中的每一个位置分别对应于输入图像中的相应位置，且包括目标框信息以及与目标框对应的类别置信度；通过对第一置信度图执行调整处理，得到参考置信度图；通过第二处理网络，提取输入图像的第二特征图，并基于第二特征图确定第二置信度图；至少基于第二置信度图与参考置信度图之间的损失函数，训练第二处理网络；以及基于完成训练的第二处理网络，对向其输入的图像执行目标检测处理，其中，第一处理网络的参数量大于第二处理网络的参数量。

技术领域

本公开涉及图像处理领域，更具体地说，涉及用于对图像执行目标检测的方法、设备和介质。

背景技术

随着用户对于图片处理要求的不断提升，图像目标检测技术的应用也愈加广泛。在用户对图片进行处理的过程中，有一个非常实际的需求就是将自己感兴趣的物体精确的检测出来。

现有的目标检测方法大多是基于神经网络的目标检测方法。例如，作为一种可能的实施方式，通过使用神经网络对原始图像提取特征图，并对特征图进行分类和回归，来生成最终的目标检测结果。目标检测结果包括目标框的位置以及目标所属的类别信息。

然而，在实践中，如何选择用于目标检测的神经网络的规模是需要权衡的。例如，选择大型神经网络来进行目标检测存在准确率高的优势，但也存在以下问题：第一，由于大模型对于训练数据具有较强的学习能力，但是容易对某一特定数据集过拟合；第二，在单帧检测运行速度上，由于受到了模型参数数量的限制，比较难以达到实时性的需求，用户体验差。虽然选择小型神经网络来进行目标检测能够满足实时性的需求，但是小模型的学习能力容易达到上限，从而存在准确率不高的问题。

发明内容

鉴于以上情形，期望提供能够同时满足实时性和准确性要求的用于目标检测的数据处理方法。

根据本公开的一个方面，提供了一种图像处理方法，包括：通过第一处理网络，提取输入图像的第一特征图，并基于所述第一特征图确定第一置信度图，其中所述第一处理网络是完成训练的网络，所述第一置信度图中的每一个位置分别对应于所述输入图像中的相应位置，且包括目标框信息以及与所述目标框对应的类别置信度，所述目标框信息为指示包围所述输入图像中的相应位置处检测到的对象的框的相关信息，且所述类别置信度为指示所述对象属于特定类别的置信度的信息；通过对所述第一置信度图执行调整处理，得到参考置信度图；通过第二处理网络，提取输入图像的第二特征图，并基于所述第二特征图确定第二置信度图；至少基于所述第二置信度图与所述参考置信度图之间的损失函数，训练所述第二处理网络；以及基于完成训练的第二处理网络，对向其输入的图像执行目标检测处理，其中，第一处理网络的参数量大于第二处理网络的参数量。

另外，在根据本公开的方法中，所述第一置信度图中的每一个位置对应一个置信度向量，且所述置信度向量包括目标框信息以及与所述目标框对应的类别置信度。

另外，在根据本公开的方法中，通过对所述第一置信度图执行调整处理，得到参考置信度图进一步包括：针对所述第一置信度图中的每一个位置，执行以下处理：确定在所述第一置信度图中的该位置以及相邻位置包括的类别置信度；在所述第一置信度图中的该位置以及相邻位置包括的目标框中，确定属于同一个目标框的多个目标框；对所述多个目标框的类别置信度进行排序；以及将最大的类别置信度以及对应的目标框信息作为第一置信度图中该位置包括的类别置信度以及对应的目标框信息，并且当该位置还包括其他目标框信息时，将其他目标框信息所对应的类别置信度置为0。

另外，在根据本公开的方法中，确定在所述第一置信度图中的该位置以及相邻位置包括的类别置信度进一步包括：基于相邻位置与该位置之间的距离，对相邻位置的类别置信度进行加权，以作为相邻位置的类别置信度。