[发明专利]图像处理方法、模型训练方法、装置、设备及介质

权利要求书

1.一种图像处理方法，包括：

将待处理图像划分为多个图像块；

基于所述多个图像块中的每一者的特征信息，确定所述多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和所述待处理图像的模态类型之间的相关程度；以及

基于所述多个图像块中的每一者的模态相关度，利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类。

2.根据权利要求1所述的方法，其中，所述基于所述多个图像块中的每一者的模态相关度，利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类包括：

基于所述多个图像块中的每一者的模态相关度，从所述多个图像块中选择一个或多个目标图像块；以及

利用所述一个或多个目标图像块中的每一者的特征信息，执行针对所述待处理图像的分类。

3.根据权利要求2所述的方法，其中，所述基于所述多个图像块中的每一者的模态相关度，从所述多个图像块中选择一个或多个目标图像块包括：

针对所述多个图像块中的每一者，响应于该图像块的模态相关度小于预设阈值，将该图像块确定为目标图像块。

4.根据权利要求1所述的方法，其中，所述基于所述多个图像块中的每一者的模态相关度，利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类包括：

计算所述多个图像块中的每一者的特征信息的加权和，其中，每个图像块所对应的权重与该图像块的模态相关度负相关；以及

基于所述加权和，执行针对所述待处理图像的分类。

5.根据权利要求1至4中任意一项所述的方法，其中，所述待处理图像包括针对同一对象的多个模态图像，所述多个模态图像中的每一者的模态类型互不相同，

并且其中，所述利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类包括：

针对所述多个模态图像中的每一者，利用该模态图像中的多个图像块中的至少部分图像块的特征信息来确定该模态图像的表示信息；

通过将所述多个模态图像中的每一者的表示信息相融合，得到所述待处理图像的融合信息；以及

基于所述融合信息，执行针对所述待处理图像的分类。

6.根据权利要求1至5中任意一项所述的方法，还包括：

在所述确定所述多个图像块中的每一者的模态相关度之前，针对所述多个图像块中的每一者，通过融合所述多个图像块中的每一者的特征信息，来更新该图像块所对应的特征信息。

7.根据权利要求1至6中任意一项所述的方法，其中，所述多个图像块中的每一者的特征信息包括该图像块的频谱信息。

8.一种图像处理模型的训练方法，所述图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，所述训练方法包括：

将样本图像划分为多个图像块，其中，所述样本图像具有分类标签；

确定所述样本图像所对应的特征序列，其中，所述特征序列包括所述多个图像块中的每一者所对应的特征信息、所述样本图像的模态信息以及所述样本图像的分类信息；

将所述特征序列中的所述多个图像块中的每一者所对应的特征信息和所述模态信息输入所述模态相关度计算模块，以得到所述多个图像块中的每一者的模态相关度；

将所述特征序列中的所述多个图像块中的每一者所对应的特征信息、所述分类信息以及所述多个图像块中的每一者的模态相关度输入所述分类信息更新模块，以得到经过更新的分类信息；

将所述分类信息输入所述分类预测模块，以得到所述样本图像的第一预测分类；以及

基于所述样本图像的所述分类标签和所述第一预测分类，调整所述图像处理模型的参数。

9.根据权利要求8所述的方法，其中，所述图像处理模型还包括特征提取模块，并且其中，所述确定所述样本图像所对应的特征序列包括：

将所述多个图像块中的每一者输入所述特征提取模块，以得到所述样本图像所对应的所述特征序列。