[发明专利]基于语义信息的图像处理方法及电子设备

权利要求书

1.一种基于语义信息的图像处理方法，其特征在于，包括：

基于待处理图像的语义标签图，获取第一特征数据和第二特征数据；其中，所述语义标签图与所述待处理图像对应，所述语义标签图中采用不同的语义标签标识所述待处理图像中的不同语义区域；所述第一特征数据包括第一特征强度的语义信息，所述第二特征数据包括第二特征强度的语义信息，所述第一特征强度和所述第二特征强度不同；

基于所述第一特征数据、所述第二特征数据和第一特征图，获得基于不同语义信息的特征图；其中，所述第一特征图用于标识所述待处理图像的图像基本特征；

对所述基于不同语义信息的特征图和第二特征图进行处理，得到目标图像；其中，所述第二特征图用于标识所述待处理图像的语义分割特征。

2.根据权利要求1所述的方法，其特征在于，所述第一特征图是将所述待处理图像输入二维卷积网络后得到的特征映射矩阵。

3.根据权利要求1或2所述的方法，其特征在于，所述第二特征图是将所述待处理图像输入U-Net神经网络后得到的特征映射矩阵。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述第一特征数据、所述第二特征数据和第一特征图，获得基于不同语义信息的特征图，包括：

将所述第二特征数据和所述待处理图像的第一特征图之间的点乘结果，与所述第一特征数据相加，得到所述基于不同语义信息的特征图。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于待处理图像的语义标签图，获取第一特征数据和第二特征数据，包括：

采用第一权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第一特征数据；

采用第二权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第二特征数据。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二特征强度大于所述第一特征强度，所述第二特征强度的语义信息对应所述待处理图像中的目标特征。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述基于不同语义信息的特征图和第二特征图进行处理，得到目标图像，包括：

将所述基于不同语义信息的特征图和所述第二特征图进行融合，获得目标特征图；

对所述目标特征图进行二维卷积运算，得到所述目标图像。

8.根据权利要求7所述的方法，其特征在于，所述将所述基于不同语义信息的特征图和所述第二特征图进行融合，获得目标特征图，包括：

将所述基于不同语义信息的特征图与所述第二特征图进行逐像素求和运算，得到所述目标特征图。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：

对所述待处理图像进行二维卷积运算，得到中间特征图；

将所述中间特征图输入所述U-Net神经网络，输出得到所述第二特征图。

10.根据权利要求9所述的方法，其特征在于，所述将所述中间特征图输入所述U-Net神经网络，输出得到所述第二特征图，包括：

将所述中间特征图输入所述U-Net神经网络；

通过所述U-Net神经网络，对所述中间特征图依次进行N次下采样处理和N次上采样处理；其中，在每次上采样处理得到的特征图与对应等级的下采样处理得到的特征图进行特征融合之后，再基于特征融合得到的特征图进行下一次的上采样处理；

当执行完第N次上采样处理之后，得到所述第二特征图。

11.根据权利要求1至10中任一项所述的方法，其特征在于，在所述基于待处理图像的语义标签图，获取第一特征数据和第二特征数据之前，所述方法还包括：

将所述待处理图像输入语义分割模型；

通过所述语义分割模型对所述待处理图像进行语义分割，得到所述语义标签图。