[发明专利]基于语义信息的图像处理方法及电子设备

说明书

本申请提供了一种基于语义信息的图像处理方法及电子设备，涉及图像处理技术领域。本申请方案中，以待处理图像中每个像素的语义种类为先验信息，将不同语义信息经过不同二维卷积核后，再拼接到U‑Net神经网络中，优化图像处理能力。由于本申请方案根据原始图像获取基于不同语义信息的特征图，并基于不同语义信息的特征图，对原始图像在经过U‑Net神经网络后得到的特征映射矩阵进行微调，因此可以获得更加精准的图像分割结果，提升对应语义区域的图像质量，使得对应语义区域的图像清晰度更高。经过本申请方案优化后，图像中的特定语义部分明显优化，纹理更加清晰。

本申请要求于2021年11月30日提交国家知识产权局、申请号为202111442371.1、申请名称为“基于语义信息的图像处理方法及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于语义信息的图像处理方法及电子设备。

背景技术

图像语义分割是计算机视觉领域中一项重要的研究内容，其目标是将图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签。

目前，利用卷积神经网络(convolutional neuron network，CNN)来处理图像语义分割任务是业界比较普遍的方案。在该方案中，利用CNN先对输入图像进行编码(下采样)，再进行解码(上采样)和融合操作，得到最终的图像分割结果。然而，基于该方案得到的图像分割结果在图像纹理细节上不够清晰，导致图像处理效果不佳。

发明内容

本申请提供一种基于语义信息的图像处理方法及电子设备，能够优化图像中的特定语义部分，使得图像纹理更加清晰。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种基于语义信息的图像处理方法，该方法包括：

基于待处理图像的语义标签图，获取第一特征数据和第二特征数据；其中，所述语义标签图是采用不同标签表示不同语义信息的矩阵；所述第一特征数据和所述第二特征数据分别包含不同特征强度的语义信息；

根据所述第一特征数据、所述第二特征数据和第一特征图，获得基于不同语义信息的特征图；其中，所述第一特征图是将所述待处理图像输入二维卷积网络后得到的特征映射矩阵；

将所述基于不同语义信息的特征图和所述待处理图像的第二特征图进行融合，获得目标特征图；其中，所述第二特征图是将所述待处理图像输入U-Net神经网络后得到的特征映射矩阵；

对所述目标特征图进行二维卷积运算，得到目标图像。

通过本申请实施例提供的基于语义信息的图像处理方法，以待处理图像中每个像素的语义种类为先验信息，将不同语义信息经过不同二维卷积核后，再拼接到U-Net神经网络中，优化图像处理能力。由于本申请方案基于不同语义信息的特征图，对U-Net神经网络后得到的特征映射矩阵进行微调，因此可以获得更加精准的分割结果，提升对应语义区域的图像质量，使得对应语义区域的图像清晰度更高。经过本申请方案优化后，图像中的特定语义部分明显优化，纹理更加清晰。

在一些可能的实现方式中，上述根据所述第一特征数据、所述第二特征数据和第一特征图，获得基于不同语义信息的特征图，可以包括：

将所述第二特征数据和所述待处理图像的第一特征图之间的点乘结果，与所述第一特征数据相加，得到所述基于不同语义信息的特征图。

在一些可能的实现方式中，上述基于待处理图像的语义标签图，获取第一特征数据和第二特征数据，具体可以包括：

采用第一权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第一特征数据；

采用第二权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第二特征数据。