[发明专利]一种图像处理方法及装置

权利要求书

1.一种图像处理方法，其特征在于，包括：

将目标图像输入编码器，对所述目标图像进行划分确定若干图像块，以及确定所述目标图像对应的特征矩阵；

根据各图像块之间的位置关系，从所述特征矩阵中确定各图像块对应的子特征矩阵，以及对各图像块进行分组，确定由各子特征矩阵组成的各分组特征矩阵；

针对每组图像块，确定该组图像块对应的分组特征矩阵中，根据各子特征矩阵间的相关度，确定该组图像块对应的分组特征矩阵中，各子特征矩阵的组内权重，并根据确定出的组内权重，确定该组图像块的加权特征矩阵；

将各组图像块的加权特征矩阵进行拼接，确定组合加权特征矩阵，并对所述组合加权特征矩阵进行下采样；

根据下采样后的所述组合加权特征矩阵，分别对各图像块对应的加权特征矩阵进行全局的自注意力权重计算，得到的全局的自注意力权重，并根据确定的各加权特征矩阵的全局权重，并根据确定出的全局权重，确定各加权特征矩阵对应的全局加权特征矩阵；

确定由各全局加权特征矩阵构成的所述目标图像的全局特征，作为所述编码器的编码结果，将所述编码结果输入到解码器中，确定所述目标图像的图像处理结果。

2.如权利要求1所述的方法，其特征在于，针对每组图像块，确定该组图像块对应的分组特征矩阵中，各子特征矩阵的组内权重之前，所述方法还包括：

根据所述特征矩阵以及预设的第一参数矩阵，确定所述特征矩阵对应的基础特征矩阵；

其中，所述基础特征矩阵包括查询矩阵、键矩阵以及值矩阵。

3.如权利要求2所述的方法，其特征在于，针对每组图像块，确定该组图像块对应的分组特征矩阵中，各子特征矩阵的组内权重，具体包括：

针对每组图像块，从所述基础特征矩阵中，确定该组图像块的分组基础特征矩阵，所述分组基础特征矩阵包括分组查询矩阵、分组键矩阵以及分组值矩阵；

根据所述分组基础特征矩阵，确定该组图像块中各子特征矩阵间的相关度；

根据各子特征矩阵间的相关度，确定该组图像块对应的分组特征矩阵中，各子特征矩阵的组内权重。

4.如权利要求3所述的方法，其特征在于，根据确定出的组内权重，确定该组图像块的加权特征矩阵，具体包括：

根据确定出的各子特征矩阵的组内权重，对该组图像块的分组值矩阵进行加权；

将加权后的分组值矩阵，作为该组图像块的加权特征矩阵。

5.如权利要求1所述的方法，其特征在于，根据下采样后的所述组合加权特征矩阵，确定各加权特征矩阵的全局权重，具体包括：

根据所述组合加权特征矩阵以及预设的第二参数矩阵，确定所述组合加权特征矩阵对应的查询矩阵，作为组合查询矩阵；

根据下采样后的所述组合加权特征矩阵，确定所述组合加权特征矩阵对应的下采样键矩阵；

根据所述组合查询矩阵以及所述下采样键矩阵，确定各加权特征矩阵的全局权重。

6.如权利要求5所述的方法，其特征在于，根据所述组合查询矩阵以及所述下采样键矩阵，确定各加权特征矩阵的全局权重，具体包括：

从所述下采样键矩阵中，确定各加权特征矩阵对应的分组下采样键矩阵；

针对每个加权特征矩阵，根据所述组合查询矩阵以及该加权特征矩阵对应的分组下采样键矩阵，确定该加权特征矩阵的全局相关度；

根据确定出的全局相关度，确定该加权特征矩阵的全局权重。

7.如权利要求6所述的方法，其特征在于，根据确定出的全局权重，确定各加权特征矩阵对应的全局加权特征矩阵，具体包括：

根据下采样后的所述组合加权特征矩阵，确定所述组合加权特征矩阵对应的下采样值矩阵，并从所述下采样值矩阵中，确定各加权特征矩阵对应的分组下采样值矩阵；

针对每个加权特征矩阵，根据该加权特征矩阵对应的全局权重，对该加权特征矩阵对应的分组下采样值矩阵进行加权；

将加权后的该加权特征矩阵对应的分组下采样值矩阵，作为该加权特征矩阵对应的全局加权特征矩阵。