[发明专利]图像整理系统、图像整理方法和计算机程序

说明书

技术领域

本发明涉及一种图像整理技术。

背景技术

作为脸部图像整理技术，使用非向前看的脸部图像的整理技术是可用的。这种使用非向前看的脸部图像的技术非常方便，因为不必强迫目标个体将他们的脸部转向成像设备。

作为脸部图像整理技术的示例，以下专利文献1公开了分别根据配准对象的图像和目标对象的输入图像来检测对象图像上亮度值变化非常大的特征区域或点(特征点)(例如，眼睛和嘴)，并且确定特征点的位置与输入图像的特征点的位置最相似的图像，从而计算目标对象的位置、姿势等。

以下非专利文献1公开了从脸上最小特征(例如，痣、皱纹、雀斑)中确定两个图像之间对应点的组合，作为对应的特征点，并且基于每个对应的特征点的相似度和位置来计算两个图像的整理得分。

现有技术文献

专利文献

[专利文献1]日本专利文献No.4167390。

非专利文献

[非专利文献1]“Face image matching using corresponding feature points on detailed textures”，Technical Report of IEICE，Vol.108，No.198，PRMU 2008-75，pp.175-180，Sept.2008，Yasushi Hamada，Hitoshi Imaoka。

发明内容

然而，根据专利文献1中公开的技术，如果目标个体向侧面看，则不能检测到脸部前面区域上存在的特征点(例如，眼睛、嘴)，并因此与参考图像的整理精度下降。

在非专利文献1中公开的技术中，如果整理目标对象的成像方向与参考对象的成像方向非常不同，则不能检测到对应的特征点，或者需要大量处理来检测对应的特征点。

本发明要解决的技术问题

本发明的示例性目的是提供一种用于图像整理的新架构。

问题解决方案

本发明的图像整理系统包括：三维数据存储装置，用于存储与参考对象的至少形状和纹理有关的三维数据；第一方向估计装置，用于通过比较整理目标对象的图像与三维数据存储装置中存储的参考对象的三维数据之间的全局特征，来估计与整理目标对象的成像方向匹配的参考对象的第一成像方向；第二方向估计装置，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定装置，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。

根据本发明的示例性方面，第二方向估计装置可以提取整理目标对象图像和与参考对象的第一成像方向相对应的图像中对应的部分区域，并且确定参考对象的第二成像方向，使得提取的对应部分区域彼此交叠。

根据本发明的另一示例性方面，第二方向估计装置可以改变与参考对象的第一成像方向相对应的图像的每个部分区域的成像方向，使得部分区域变得最相似于整理目标对象的图像的每个部分区域，并且确定整理目标对象图像中相似度最高的部分区域，作为对应的部分区域。

根据本发明的另一示例性实施例，图像一致性确定装置可以基于分别比较这些图像之间全局特征和局部特征的结果，来确定与参考对象的第二成像方向相对应的图像是否与整理目标对象的图像匹配。

根据本发明的另一示例性实施例，整理目标对象和参考对象是人脸，并且局部特征是基于以下中的至少一个的图像特征：脸部皮肤上的痣、斑、雀斑、毛孔和肿块。

一种本发明的图像整理方法包括：第一方向估计步骤，用于通过比较整理目标对象的图像与三维数据存储装置中存储的关于参考对象的至少形状和纹理的三维数据之间的全局特征，来估计参考对象的与整理目标对象的成像方向匹配的第一成像方向；第二方向估计步骤，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定步骤，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。

一种本发明的计算机程序是用于使计算机执行上述图像整理方法的计算机程序。