[发明专利]配备发送校正了晃动效应的图像序列的摄像机的无人机

说明书

技术领域

本发明涉及处理由移动设备(尤其是诸如无人机等马达驱动式飞行器)板载相机所捕捉的数字图像。

背景技术

本发明有利地应用于由旋翼无人机(诸如四旋翼直升机)的前置相机接收到的图像。典型示例是法国巴黎的Parrot SA的AR.Drone 2.0或Bebop(注册商标)，它们是配备一系列传感器(加速度计、陀螺仪、高度计)、捕捉无人机朝向的地貌的图像的前置摄像机、捕捉所述无人机法国的陆地的图像的垂直视图相机的四螺旋桨直升机。无人机提供有各自由马达驱动的多个旋翼，马达可被单独地控制以控制无人机的姿态和速度。

EP2364757A1、EP2613213A1、EP2613214A1或EP2933775(对应于US2015/0298822 A1)全部在Parrot SA的名下，描述了这些无人机的各方面。

前置摄像机可被用于在“沉浸模式”中的驾驶无人机，即用户以如同他们在无人机上一样的方式使用来自相机的图像。

所述前置摄像机还可被用来捕捉无人机所朝向的地貌的图像序列。因此，用户可以按相机或摄录像机将由无人机承载的相同方式来使用无人机而不是将其握在手中。接收到的图像可以被存储并随后分发，上传到视频主存网站，发送给其他因特网用户，在社交网络上共享，等等。

因为这些图像旨在被存储和共享，所以它们具有尽可能少的缺陷是合乎需要的，尤其是由无人机的动态性造成的缺陷，该动态性可造成相机捕捉的图像的振动、扭曲、以及其他不合需要的伪像。

这些缺陷在“沉浸飞行”配置中可能是可接受的。然而，如果无人机被用作移动摄像机来捕捉将被存储并稍后再现的序列，则这些缺陷是极具破坏性的并且因此使它们最小化是合乎需要的。

本发明尤其寻求消除称为“晃动”的缺陷，该缺陷具有使图像模糊和扭曲的效应。在存在高频且低幅振动时发生这一效应，通常是马达的振动，它们被传送给相机底座并造成直线的扭曲，在图像中出现波纹并且形成波。即使它并不明显，这一效应也是能非常快地注意的，并且所以它使图像的视觉质量迅速降级。

这一特定伪像是由于(诸如无人机机载)相机的传感器所使用的卷帘快门(而非全域快门)机构造成的，其中对于图像中的所有像素而言，形成图像的各行不是同时获取的而是相继地获取的。因为这一点，在捕捉图像时发生的振动生成图像内的位移，它不同于从一行到另一行的位移(这是出现波纹的原因)。

晃动效应可通过使用来自陀螺仪的测量来被逐行校正(“图像内”校正)，陀螺仪发送表示无人机在三个轴上在给定时刻的旋转(并且因此相机的旋转)的信号，包括由于振动造成的快速变化。应用对陀螺仪测量的逆变换使得可能在某种程度上对晃动效应作出补偿，因为无人机的姿态可以按精确的方式针对每一行获得并且与相机的传感器同步。

这一类型的一种数字地实现的图像稳定化技术在上述EP2933775 A1(US2015/0298822 A1)中描述，可参考它来获得进一步细节。

如此，如将在下文具体实施方式中更详细地解释的，用于通过使用陀螺仪信号来补偿晃动的这一方法在某些情形下可能产生过度校正，从而生成新伪像并且意味着经校正的图像反而比在任何校正之前获得的原始图像更加降级。具体而言，过度校正可能使波纹出现在图像中。这些波纹不存在于原始图像中且在目标具体是捕捉视频序列以存储并在稍后以最高质量再现它们的情况下尤其具有破坏性。

发明内容

本发明的目标之一是通过允许一旦捕捉了图像就由无人机将视频信号传送给用户来克服这一缺陷，其中所述用户可以存储该视频信号并且在最佳的可能条件下再现，而无需对所述信号进行后处理。

本发明的起始点基于以下观察：在上述EP2933775 A1(US2015/0298822 A1)中具体描述的没有使用图像分析来估计无人机的需要补偿的移动的视频稳定化技术。稳定化的性能因此不依赖于所捕捉的地貌，而仅依赖于无人机在给定时刻的通过其惯性单元估计的旋转角的精确度。

另外，在高频范围中(通常由马达生成的振动频率)，单个传感器序列(即，惯性单元的陀螺仪)估计无人机的旋转角。其他技术(例如，分析由垂直相机发送的图像)可实际上只以比图像的刷新率(它在实践中是60Hz)低的频率来提供旋转估计，而马达的振动(与推进器的旋转频率相对应)是约120Hz的基频。惯性单元的陀螺仪因此是能够可靠地测量相机经受的振动的唯一组件，并且所以这些传感器发送的测量的精确度对于获得有效稳定化而言是必要的，因为晃动的校正完全基于由此发送的测量。