[发明专利]图像识别方法、装置、计算机可读介质和电子设备

说明书

一种图像识别方法、装置、计算机可读介质和电子设备。该方法包括：基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；基于训练完成的图神经网络模型，根据输入的待识别图像，以及输入的与待识别图像中的图像特征对应的音频数据，对待识别图像进行识别，得到待识别图像的识别结果；其中，音频数据用于定义图像特征的特征属性。本申请实施例在对待识别图像进行识别过程中，融合了图像特征的音频数据，直接对待识别图像进行处理，而不需要再将图像转化为字符，提高了图像识别时的识别准确率。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种图像识别方法、图像识别装置、计算机可读介质和电子设备。

背景技术

NLP(Neuro-Linguistic Programming，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方法，是一门融语言学、计算机科学、数学于一体的科学。

在通过NLP方法对图像进行识别时，通常是利用训练图像样本对NLP模型进行训练，利用训练完成的NLP模型对图像进行识别。比如，基于OCR(Optical CharacterRecognition，光学字符识别)方法，基于训练完成的识别模型，通过暗、亮模式检测待识别图像，确定待识别图像中特征的形状，然后用字符识别方法将形状转译为计算机可识别的字符，达到识别图像的目的。

发明内容

但是，在现有技术中，利用训练图像样本对NLP模型进行训练，训练完成的NLP模型通过字符对图像进行识别，在图像的识别过程中，存在着明显的局限。有鉴于此，本申请实施例提供一种图像识别方法、图像识别装置、计算机可读介质和电子设备。

本申请实施例提供了一种图像识别方法，包括：基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。

可选地，在本申请的任一实施例中，所述基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练，包括：根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱，其中，所述音频样本数据用于定义所述样本图像中的图像特征的特征属性；根据所述知识图谱，对待训练的所述图神经网络模型进行训练。

可选地，在本申请的任一实施例中，所述根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱，包括：选取多帧所述样本图像中包含有所述图像特征的一帧所述样本图像进行分割，生成N个样本子图像，其中，N为正整数；根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱。

可选地，在本申请的任一实施例中，所述根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱，包括：基于预设的卷积神经网络模型，对N个所述样本子图像分别进行特征提取，得到每个所述样本子图像的图像样本特征编码；基于所述卷积神经网络模型，对所述音频样本数据进行特征提取，得到所述音频样本数据的音频样本特征编码；根据所述音频样本特征编码和N个所述图像样本特征编码，构建包含N+1个节点的所述知识图谱。

可选地，在本申请的任一实施例中，所述根据所述知识图谱，对待训练的所述神经网络模型进行训练，包括：根据所述知识图谱中节点之间的属性关系，对待训练的所述图神经网络模型进行训练。