[发明专利]图像识别方法、装置、计算机可读介质和电子设备

权利要求书

1.一种图像识别方法，其特征在于，包括：

基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；

基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。

2.根据权利要求1所述的方法，其特征在于，所述基于预设的待识别图像的图像特征的知识图谱，对图神经网络模型进行训练，包括：

根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱；其中，所述音频样本数据用于定义所述样本图像中的图像特征的特征属性；

根据所述知识图谱，对待训练的所述图神经网络模型进行训练。

3.根据权利要求2所述的方法，其特征在于，所述根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱，包括：

选取多帧所述样本图像中包含有所述图像特征的一帧所述样本图像进行分割，生成N个样本子图像，其中，N为正整数；

根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱。

4.根据权利要求3所述的方法，其特征在于，所述根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱，包括：

基于预设的卷积神经网络模型，对N个所述样本子图像分别进行特征提取，得到每个所述样本子图像的图像样本特征编码；

基于所述卷积神经网络模型，对所述音频样本数据进行特征提取，得到所述音频样本数据的音频样本特征编码；

根据所述音频样本特征编码和N个所述图像样本特征编码，构建包含N+1个所述节点的所述知识图谱。

5.根据权利要求2所述的方法，其特征在于，所述根据所述知识图谱，对待训练的所述图神经网络模型进行训练，包括：根据所述知识图谱中节点之间的属性关系，对待训练的所述图神经网络模型进行训练。

6.根据权利要求1-5任一所述的方法，其特征在于，所述基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果，包括：

对输入的所述待识别图像进行分割，生成多个子图像；

提取多个所述子图像的图像特征，以及所述音频数据的音频特征；

基于所述图神经网络模型，根据所述图像特征和所述音频特征，得到所述待识别图像的特征编码；

对所述待识别图像的特征编码进行解码，得到所述待识别图像的识别结果。

7.根据权利要求6所述的方法，其特征在于，所述对所述待识别图像的特征编码进行解码，得到所述待识别图像的识别结果，包括：

对所述待识别图像的特征编码进行硬解码和/或软解码，得到所述待识别图像的识别结果。

8.一种图像识别装置，其特征在于，包括：

模型准备单元，配置为基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；

识别单元，配置为基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序为如权利要求1-7任一所述的图像识别方法。

10.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：

基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；

基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。