[发明专利]图像处理方法、深度学习模型的训练方法及装置

权利要求书

1.一种图像处理方法，包括：

针对待处理图像序列中的任意一个待处理图像，利用目标深度学习模型的至少一个第一网络对所述待处理图像进行处理，得到第一图像特征，其中，所述第一图像特征具有时序维度，所述目标深度学习模型还包括至少一个第二网络；

利用所述第二网络的时序注意力子网络对所述第一图像特征进行处理，得到时序注意力特征，其中，所述时序注意力特征表征所述时序维度的全局注意力概率；

根据所述全局注意力概率，确定至少一个目标时序，其中，将全局注意力概率具有更高概率数值的时序确定为目标时序；

利用所述第二网络的时序位移子网络对对应所述目标时序的所述第一图像特征进行时序位移操作，得到第二图像特征；以及

根据所述第二图像特征，确定所述待处理图像的图像处理结果。

2.根据权利要求1所述的方法，其中，所述根据所述第二图像特征，确定所述待处理图像的图像处理结果包括：

对所述第二图像特征进行分类处理，得到所述待处理图像的图像处理结果。

3.根据权利要求1所述的方法，其中，所述根据所述第二图像特征，确定所述待处理图像的图像处理结果包括：

根据至少一个所述第一网络对所述第二图像特征进行处理，得到第三图像特征；

对所述第三图像特征进行分类处理，得到所述待处理图像的图像处理结果。

4.根据权利要求1-3中任一项所述的方法，其中，与多个待处理视频片段的序列对应的所述待处理图像序列是从所述多个待处理视频片段中抽取视频帧得到的，所述多个待处理视频片段是对待处理视频进行视频分段得到的。

5.一种深度学习模型的训练方法，包括：

针对训练图像序列的任意一个训练图像，利用深度学习模型的至少一个第一网络对所述训练图像进行处理，得到第一图像特征，其中，所述第一图像特征具有时序维度，所述深度学习模型还包括至少一个第二网络；

利用所述第二网络的时序注意力子网络对所述第一图像特征进行处理，得到时序注意力特征，其中，所述时序注意力特征表征所述时序维度的全局注意力概率；

根据所述全局注意力概率，确定至少一个目标时序，其中，将全局注意力概率具有更高概率数值的时序确定为目标时序；

利用所述第二网络的时序位移子网络对对应所述目标时序的所述第一图像特征进行时序位移操作，得到第二图像特征；

根据所述第二图像特征，确定所述训练图像的输出结果；

根据所述输出结果和损失函数，确定反馈数值；以及

根据所述反馈数值调整所述深度学习模型的模型参数，得到目标深度学习模型。

6.根据权利要求5所述的方法，其中，所述根据所述第二图像特征，确定所述训练图像的输出结果包括：

对所述第二图像特征进行分类处理，得到所述训练图像的输出结果。

7.根据权利要求5所述的方法，其中，所述根据所述第二图像特征，确定所述训练图像的输出结果包括：

根据至少一个所述第一网络对所述第二图像特征进行处理，得到第三图像特征；

对所述第三图像特征进行分类处理，得到所述训练图像的输出结果。

8.根据权利要求5-7中任一项所述的方法，其中，所述训练图像是对候选训练图像序列中的多个候选训练图像基于像素值进行加权运算得到的。

9.根据权利要求8所述的方法，其中，与多个视频片段的序列对应的所述候选训练图像序列是从多个视频片段中抽取视频帧得到的，所述多个视频片段是对候选视频进行视频分段得到的。

10.根据权利要求5-7中任一项所述的方法，其中，所述深度学习模型是经过预训练得到的预训练深度学习模型。

11.根据权利要求10所述的方法，其中，所述预训练深度学习模型是对初始深度学习模型进行模型蒸馏操作得到的。