[发明专利]图像处理设备和图像处理方法

说明书

技术领域

本发明一般涉及图像处理、计算机视觉和图形识别领域，具体地涉及多类别分割领域，更具体地涉及对图像中的每个区域进行分类的设备和方法。

背景技术

多类别分割是一种将图像分割为不同区域的方法。图像的每个区域被分类到预定类别，诸如天空、绿色、人体和其他。该方法有助于解析图像的场景。图1是多类别分割的示意图。如图1所示，每个分割区域属于预定类别。

Richard Socher(可以参考Richard Socher,Cliff Chiung-Yu Lin,Andrew Y.Ng.Pars Natural Scenes and Natural Language with Recursive Neural Networks.Proceed of the28th Internal Conference on Machine Learn,Bellevue,WA,USA,2011)提出了一种称为递归神经网络(RNN)的多类别分割方法。图2示例性示出RNN分割方法的流程图。

如图2所示，首先，该方法在步骤210将图像分割为多个区域。然后，在步骤220，该方法基于提取的特征和训练的模型针对每个区域计算每个类别的分类置信度。分类置信度代表一个区域属于预定类别的可能性，也称为分数。最后，在步骤230，每个区域被分类到具有最高分数的类别.

因为根据提取的特征和训练的模型计算分数，所以如果某个区域的最高分数不是远大于该区域的次最高分数，则意味者一个类别的特征不明显区别于其他的类别。于是，当两个类别的分数接近时，可能无法将一个类别与另一个类别区分开。如上所述，该方法选择具有最高置信度分数的类别作为分类结果，而如果针对某一区域一个类别的最高分数没有明显高于其他的类别的分数，则分类结果将很有可能是错误的。例如，在图3中示出了RNN分割的例示。

从左图可以看出，对于区域B，绿色的分数远高于其他的类别。于是，区域B被毫无疑义地分类为绿色。类似地，区域C被分类为天空。B和C这些区域是容易分类到某一类别的清楚区域。

然而，可以看出，对于区域A，其他的分数仅比绿色的分数高一点。根据RNN分割，如右图所示，区域A被分类为其他。然而，从原始图像(即，左图)可以看出该区域应该属于绿色。在这一点上，相差不明显的分数导致了错误的分类结果，这样的分类结果在图像内也不是自适应的。

鉴于上述，期望提供一种能够将所有区域（尤其是不容易分类的不清楚区域）准确分类到预定类别的新的图像处理设备和图像处理方法。

发明内容

鉴于至少一个上述问题提出本发明。

本发明更多地关注在分类方面模糊的不清楚区域（也称为模糊区域）。通常，模糊区域的误分类比率远高于其他的区域。本发明旨在找到模糊区域并利用近邻信息对模糊区域进行循环重分类，以便尽可能地更正模糊结果。

本发明也基于多个区域。实验已经证明本发明可以改善分类的精度而不需要额外的外部检测结果。改善不仅针对某些特定类别，而是同等地适用于图像的各个类别。此外，本发明在图像内可以自适应周围情况。

本发明的一个目的是提供一种能够对模糊区域精确分类的新的图像处理设备和新的图像处理方法。

根据本发明的第一方面，提供一种对图像中的每个区域进行分类的图像处理方法，包括：置信度生成步骤，针对图像中的每个区域生成分类置信度，分类置信度代表一个区域属于预定类别的可能性；和分类步骤，基于计算出的置信度，将图像中的易于根据分类置信度分类的清楚区域分类到相应的类别。该方法还包括：模糊区域提取步骤，从图像中提取一个或多个不易根据分类置信度分类的不清楚区域，作为模糊区域；和置信度更新步骤，基于每个模糊区域的近邻区域的分类置信度来更新每个模糊区域的分类置信度。分类步骤还基于更新的分类置信度将各模糊区域分类到相应的类别。

根据本发明的第二方面，提供如上所述的图像处理方法在图像构图或图像搜索领域中的应用。