[发明专利]图像处理方法、模型训练方法、装置、设备及介质

说明书

本公开提供了一种图像处理方法、模型训练方法、装置、设备及介质，涉及人工智能领域，尤其涉及计算机视觉领域。实现方案为：将待处理图像划分为多个图像块；基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉领域，具体涉及一种图像处理方法、模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术、人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像处理方法、模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种图像处理方法，包括：将待处理图像划分为多个图像块；基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。

根据本公开的另一方面，提供了一种图像处理模型的训练方法，图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，训练方法包括：将样本图像划分为多个图像块，其中，样本图像具有分类标签；确定样本图像所对应的特征序列，其中，特征序列包括多个图像块中的每一者所对应的特征信息、样本图像的模态信息以及样本图像的分类信息；将特征序列中的多个图像块中的每一者所对应的特征信息和模态信息输入模态相关度计算模块，以得到多个图像块中的每一者的模态相关度；将特征序列中的多个图像块中的每一者所对应的特征信息、分类信息以及多个图像块中的每一者的模态相关度输入分类信息更新模块，以得到经过更新的分类信息；将分类信息输入分类预测模块，以得到样本图像的第一预测分类；以及基于样本图像的分类标签和第一预测分类，调整图像处理模型的参数。

根据本公开的另一方面，提供了一种图像处理装置，包括：第一划分单元，被配置用于将待处理图像划分为多个图像块；第一确定单元，被配置用于基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及分类单元，被配置用于基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。