[发明专利]摄像设备及其中执行的方法

说明书

本发明涉及一种摄像设备及其中执行的方法。摄像设备检测由振动传感器施加至摄像设备的抖动等。运动矢量检测单元在利用摄像单元的图像信号中检测图像的运动矢量。特征点追踪单元基于该运动矢量来计算随时间的经过而改变的摄像画面上的被摄体的坐标值。特征坐标映射和位置姿势估计单元基于振动传感器的输出和被摄体的坐标值来估计摄像设备的位置姿势以及被摄体和摄像设备之间的包括深度的位置关系。计算单元使用主被摄体的特征点、特征坐标映射以及摄像设备的位置或姿势信息来计算图像模糊校正的控制量。根据目标位置计算单元的输出来驱动校正透镜，并且进行摄像设备的抖动校正操作。

技术领域

本发明涉及用于诸如摄像机、数字静态照相机及其可更换镜头等的光学装置的图像模糊校正技术。

背景技术

作为用于校正由于保持摄像设备的主体部的用户的手抖动等而产生的被摄体的图像模糊的功能，设置了光学图像模糊校正处理和电子图像模糊校正处理。在光学图像模糊校正处理中，利用角速度传感器等检测主体部的振动，并且进行控制，使得摄像光学系统内所设置的校正透镜根据该检测结果而移动。在使摄像光学系统的光轴方向改变、并且使在摄像元件的受光面上形成的图像移动的情况下，可以校正图像模糊。另外，在电子图像模糊校正处理中，通过对拍摄图像进行图像处理来人工地校正图像模糊。

拍摄者期望在随着被摄体(移动物体或静止物体)而移动并且使被摄体保持在摄像视角内的状态下进行摄像。用于追踪所选择的被摄体以使被摄体图像的检测位置靠近摄像画面内的特定位置的操作可被称为“被摄体追踪操作”。此时拍摄者所期望的移动被称为“运镜(camera work)”。例如，用户移动摄像设备以使所检测到的被摄体位置到达(或靠近)该设备的摄像画面内的特定位置可被称为运镜。在整个本申请中使用术语“被摄体追踪操作”和“运镜”。特定位置例如可以是摄像画面的中心位置或拍摄者所指定的位置。另外，存在利用图像模糊校正单元来辅助被摄体追踪操作的方法。在日本特开2010-93362中，公开了如下的用于驱动图像模糊校正单元的被摄体追踪技术：将画面的内部分割成块，通过模板匹配来检测被摄体的面部等，并且追踪被摄体的移动并将该移动设置成在画面内。

另一方面，为了校正由于手抖动等而产生的图像模糊，需要检测摄像设备的位置姿势的变化。作为用于检测摄像设备的姿势位置的自位置估计方法，提供了使用运动结构(SFM)和惯性传感器的位置姿势估计(视觉和惯性传感器融合(visual and inertialsensor fusion))技术。用于通过应用该技术来估计真实空间内所存在的物体的3D位置以及摄像设备的位置姿势的方法是已知的。

在日本特开2010-93362所公开的方法中，基于摄像设备的位置姿势的变化来进行抖动校正操作，其中在该摄像设备的位置姿势的变化中，拍摄者为了被摄体追踪而有意进行的运镜以及由于手抖动而产生的位置姿势的变化共存。然而，当前的抖动校正操作的问题是这些抖动校正操作可能会抵消由运镜引起的摄像设备的位置和/或姿势的变化。这当然是不期望的，因为拍摄者的运镜本质上是用于利用摄像设备追随被摄体的期望移动。结果，当前的抖动校正操作可能导致在拍摄图像中产生不自然的视角变化。

发明内容

本发明抑制在根据运镜的摄像中由于图像模糊校正而产生的不自然的视角变化。

根据本发明实施例的设备是一种摄像设备，用于利用摄像单元获取图像信号，所述摄像设备包括：第一获取单元，用于获取表示抖动检测单元所检测到的所述摄像设备的抖动的第一信息；第二获取单元，用于获取表示在所述摄像单元的图像信号中检测到的被摄体的移动的第二信息；追踪单元，用于使用所述第二信息来计算摄像画面上的所述被摄体的坐标值，并且追踪特征点；估计单元，用于根据所述第一信息以及所述被摄体的坐标值，来估计所述摄像设备的位置和/或姿势、以及所述被摄体和所述摄像设备之间的包括深度的位置关系；计算单元，用于使用从所述估计单元获取到的所述摄像设备的位置或姿势的估计值、从所述估计单元获取到的位置关系、所述第一信息、以及所计算出的所述被摄体的坐标值，来计算抖动校正的控制量；以及校正单元，用于基于所述计算单元所计算出的控制量来校正由于所述摄像设备的抖动而产生的图像模糊。