[发明专利]被摄体跟踪设备、被摄体区域提取设备及其控制方法

说明书

技术领域

本发明涉及一种被摄体跟踪设备、被摄体区域提取设备及其控制方法。

背景技术

在以时间序列顺次提供的图像的一个帧中检测特定被摄体并在后续帧中跟踪所检测到的被摄体的图像处理技术是非常有用的。例如，检测并跟踪在运动图像中的人体区域(例如面部区域)可以应用在诸如电话会议、人机交互、安全、用于跟踪特定被摄体的监视系统以及图像压缩的宽范围的各种领域中。已知具有所述图像处理技术的一些数字照相机和数字摄像机执行曝光控制和聚焦控制，以适当地拍摄在电子取景器上显示的图像中指定的被摄体。

例如，日本特开2005-318554公开了一种摄像设备，该摄像设备从所拍摄图像中检测面部，对面部聚焦，并用针对面部最佳的曝光来拍摄面部图像。而且，日本特开2001-60269公开了一种跟踪处理，其中，在后续帧中检测在某些帧中检测到的面部。

已知在日本特开2001-60269中公开的、使用模板匹配技术的方法在后续帧中跟踪在某些帧中检测到的特定被摄体。模板匹配是从运动图像的某个帧(以下被称为基准帧)中提取要跟踪的被摄体的图像(模板图像或基准图像)，并在后续帧中搜索与模板图像的相关度最高的区域的技术。找到的区域被推定为模板图像在每个后续帧中的位置，从而可以跟踪与模板图像相对应的被摄体。

在使用模板匹配的被摄体跟踪方法中，基于要跟踪的帧图像与基准图像(模板图像)之间的相关度来跟踪被摄体。因此，只要在要跟踪的帧图像中以与在基准图像中相同的方式拍摄被摄体，则在该方法中可以用高精度来跟踪被摄体。

然而，例如，如果被摄体是人的面部，并且面部的方向可能改变或者面部可能被物体遮蔽，则由于使用同一基准图像，可能降低跟踪精度。为了实现对于图像中的被摄体的外观的改变的跟踪鲁棒性，需要根据被摄体的外观的改变更新基准图像。

例如，可以更新基准图像，以将在要跟踪的帧图像中与基准图像的相关度最高的区域用作新的基准图像。然而，在该方法中，如果被摄体暂时隐藏在物体之后，则不同于被摄体的区域在下一跟踪处理中被用作基准图像，从而不能在后续帧中精确地跟踪被摄体。

而且，可以由用户指定上述基准图像。在这种情况下，用户经由诸如触摸面板的、允许他/她指定帧图像中的任意区域的输入装置，指定要用作基准图像的区域。利用该结构，用户可以容易地指定特定被摄体的跟踪。

虽然期望基准图像不多不少地包含要跟踪的被摄体区域，但是用户不总是这样指定被摄体区域。如果由用户指定的区域从预期被摄体区域偏移或不必要地大于被摄体区域，则基准图像包括大量的例如背景的、不需要跟踪的图像。当使用包括大量的不想要的图像的基准图像跟踪被摄体时，由于与不想要的图像有关的因素的影响可能跟踪与目标区域不同的区域，因此被摄体跟踪精度可能降低。

发明内容

考虑到现有技术的上述问题做出本发明。

本发明提供一种基于基准图像和输入图像之间的相关度来进行被摄体跟踪的被摄体跟踪设备及其控制方法，其中，甚至当被摄体的外观改变时，仍然改善了被摄体跟踪精度。

本发明还提供一种在基于基准图像和输入图像之间的相关度来进行被摄体跟踪的被摄体跟踪设备及其控制方法中的、从指定的图像区域中判断和提取适于用作基准图像的被摄体区域的技术。

根据本发明的第一方面，提供一种被摄体跟踪设备，其在以时间序列输入至所述被摄体跟踪设备的多个输入图像中跟踪图像中的特定被摄体，所述被摄体跟踪设备包括：计算部件，用于针对在登记部件中登记的多个基准图像中的各基准图像，获得输入图像的最大相关度和包括在输入图像中并具有该最大相关度的区域；以及第一判断部件，用于从由所述计算部件获得的区域中判断输入图像中的所述特定被摄体的区域，其中，所述多个基准图像包括第一基准图像和第二基准图像，所述第一基准图像基于所述多个输入图像中的第一输入图像中、被指定为所述特定被摄体的区域的区域，并且不更新，所述第二基准图像基于所述多个输入图像中在所述第一输入图像之后以时间序列输入至所述被摄体跟踪设备的多个第二输入图像中的各第二输入图像中、由所述第一判断部件判断为所述特定被摄体的区域的区域而更新，以及在由所述计算部件针对所述第一基准图像获得的最大相关度不小于预定阈值的情况下，所述第一判断部件将与所述第一基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域，并且在由所述计算部件针对所述第一基准图像获得的最大相关度小于所述预定阈值的情况下，所述第一判断部件将与所述第二基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域。