[发明专利]物体感知方法、装置及电子设备

说明书

本申请实施例提供一种物体感知方法、装置及电子设备。在本实施例中，通过目标物体感知模型从待检测图像中划分出候选对象区域并输出候选对象区域对应的视觉特征(非文本特征)、以及大规模视觉语言预训练模型输出的各候选类别(预先设定好的类别)对应的文本特征，来确定候选对象区域中候选对象所属的目标类别，实现了基于大规模视觉语言预训练实现物体感知；基于如上描述的大规模视觉语言预训练模型输出的各候选类别对应的文本特征，这相当于借助大规模视觉语言预训练模型的先验知识(预先设定好的候选类别对应的文本特征)，并结合大规模视觉语言预训练模型超大范围的感知能力，提高了最终物体感知结果(也即候选对象所属的目标类别)的准确度。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种物体感知方法、装置及电子设备。

背景技术

目前，常用的物体感知方法，通常是通过对待处理图像中可能包含的对象的视觉特征比如亮度、边缘、纹理等和已得到的类别语义特征进行对齐，然后再利用已训练好的分类网络模型对待处理图像中的对象进行分类，最终得到物体感知结果。

但是，上述类别语义特征是通过无监督训练模型得到的全局词向量(GlobalVectors for Word Representation，glove)，其仅仅能够捕捉到不同类别名称之间的相似性与区别，应用于物体感知时很难精确获得物体感知结果。

发明内容

本申请实施例提供一种物体感知方法、装置及电子设备，以基于大规模视觉语言预训练实现物体感知。

根据本申请实施例的第一方面，提供一种基于大规模视觉语言预训练的物体感知方法，该方法应用于电子设备，该方法包括：

将待检测图像输入到已训练好的目标物体感知模型，以由所述目标物体感知模型从所述待检测图像中划分出候选对象区域并输出候选对象区域对应的视觉特征，所述视觉特征为非文本特征；

获得经由大规模视觉语言预训练模型输出的各候选类别对应的文本特征；

利用候选对象区域对应的视觉特征、以及已获得的各候选类别对应的文本特征，确定所述候选对象区域中候选对象与每一候选类别之间的置信度；

利用所述候选对象区域中候选对象与每一候选类别之间的置信度，确定所述候选对象所属的目标类别。

根据本申请实施例的第二方面，提供一种基于大规模视觉语言预训练的物体感知装置，所述装置包括：

视觉特征提取模块，用于将待检测图像输入到已训练好的目标物体感知模型，以由所述目标物体感知模型从所述待检测图像中划分出候选对象区域并输出候选对象区域对应的视觉特征，所述视觉特征为非文本特征；

文本特征获取模块，用于获得经由大规模视觉语言预训练模型输出的各候选类别对应的文本特征；

第一置信度确定模块，用于利用候选对象区域对应的视觉特征、以及已获得的各候选类别对应的文本特征，确定所述候选对象区域中候选对象与每一候选类别之间的置信度；

类别确定模块，用于利用所述候选对象区域中候选对象与每一候选类别之间的置信度，确定所述候选对象所属的目标类别。

根据本申请实施例的第三方面，提供一种电子设备，电子设备包括机器可读存储介质、处理器；所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处理器用于读取所述机器可执行指令，以实现如第一方面所述的物体感知方法的步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例中，通过目标物体感知模型从待检测图像中划分出候选对象区域并输出候选对象区域对应的视觉特征(非文本特征)、以及大规模视觉语言预训练模型输出的各候选类别(预先设定好的类别)对应的文本特征，来确定候选对象区域中候选对象所属的目标类别，这实现了基于大规模视觉语言预训练实现物体感知；