[发明专利]图像识别方法、装置及电子设备

说明书

本发明实施例提供一种图像识别方法、装置及电子设备。所述图像识别方法包括：将待识别图像进行检测，得到该待识别图像中每个目标识别区域的识别候选结果；将所有目标识别区域的识别候选结果进行组合得到多个预测目标序列；使用预训练的图像语言模型对所述多个预测目标序列进行计算得到每个预测目标序列的组合概率；根据各个预测目标序列的组合概率得到所述待识别图像的识别结果。

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像识别方法、装置及电子设备。

背景技术

在语音识别或机器翻译中，可以使用校正模型对识别结果进行进一步地校正，由于自然语言中，字、词、短语之间会有固定的搭配和组合，通过校正可以使得到的最终结果可以更符合字、词、短语之间的搭配和组合。但是现有技术中对于图像之间的组合方面却没有更多的研究。

发明内容

有鉴于此，本发明实施例的目的在于提供一种图像识别方法、装置及电子设备。

第一方面，本发明实施例提供的一种图像识别方法，包括：

将待识别图像进行检测，得到该待识别图像中每个目标识别区域的识别候选结果；

将所有目标识别区域的识别候选结果进行组合得到多个预测目标序列；

使用预训练的图像语言模型对所述多个预测目标序列进行计算得到每个预测目标序列的组合概率；

根据各个预测目标序列的组合概率得到所述待识别图像的识别结果。

可选地，在所述将所有目标识别区域的识别候选结果进行组合得到多个预测目标序列的步骤之前，所述方法还包括：

根据每个目标识别区域在所述待识别图像中的位置确定出多个目标识别区域中的起始区域词；

获取其它目标识别区域的中心与所述起始区域词的中心的距离；

根据其它图像的距离将所述目标识别区域进行排序，得到所述起始区域词的上下文目标识别区域及对应的排列顺序；

所述将所有目标识别区域的识别候选结果进行组合得到多个预测目标序列的步骤，包括：将每个目标识别区域的识别候选结果按照所述排列顺序进行组合得到有序的多个预测目标序列。

可选地，所述使用预训练的图像语言模型对所述多个预测目标序列进行计算得到每个预测目标序列的组合概率的步骤，包括：

将每个预测目标序列中的每个目标识别区域转换为图向量，得到每个预测目标序列对应的图向量组；

将所述图向量组输入所述图像语言模型进行计算，得到每个预测目标序列的组合概率。

可选地，所述将每个预测目标序列中的每个目标识别区域转换为图向量，得到每个预测目标序列对应的图向量组的步骤，包括：

从预存的图向量表中查找获取每个预测目标序列中的每个目标识别区域对应的图向量。

可选地，所述将待识别图像进行检测，得到该待识别图像中每个目标识别区域的识别候选结果的步骤，包括：

对待识别图像进行检测得到该待识别图像中每个目标识别区域的候选图像词；

从预存的图向量表中查找获取每个候选图像词对应的候选图向量，将每个目标识别区域对应的候选图向量作为识别候选结果。

可选地，所述将待识别图像进行检测，得到该待识别图像中每个目标识别区域的识别候选结果的步骤，包括：

将待识别图像输入基于神经网络的检测模型中进行检测，得到该待识别图像中每个目标识别区域的识别候选结果。