[发明专利]针对视频图像的竖直方向灭点检测方法及视频扭正方法

说明书

本发明公布了一种快速准确的竖直方向灭点检测方法，并利用此竖直方向灭点检测方法实现视频的快速扭正。首先将视频数据逐帧分离成图片集；然后通过竖直方向灭点检测方法获得竖直方向灭点坐标信息；再利用竖直方向灭点坐标信息，计算图片变换的单应矩阵；最后将变换后的图片集合生成新视频；包括：提取图片阶段、竖直方向灭点检测阶段、图片扭正阶段和视频合成阶段。本发明依靠竖直方向单灭点信息进行视频扭正，鲁棒性好，计算速度快。将灭点检测转化为对偶空间中三角函数曲线参数的计算，将检测的直线近似成曲线的切线，使得远距离的灭点检测更准确，得到的视频图像更加符合人们的视觉习惯。

技术领域

本发明涉及灭点检测及视频扭正技术，尤其涉及一种竖直方向灭点检测方法及应用了竖直方向灭点检测的新的视频扭正方法，可快速扭正视频中的场景。

背景技术

摄像机拍摄的视频中大部分包含建筑物等竖直结构，由于拍摄视角和抖动等因素会导致图像中本应该竖直的结构发生倾斜。图像矫正的一般方法是对图像做射影变换。一些方法直接利用图像中提取的边缘、角点求解所需的单应矩阵，但这类方法受噪声影响很大，对提取精度要求很高。另一些方法利用了多灭点信息，这种模型对灭点的可见性和正交性要求较高。

灭点是指在针孔相机模型下，三维空间的平行线在成像平面的投影交汇的点。灭点检测是计算机视觉中的基本问题，可以应用于摄像机标定、三维重建及自动驾驶等任务中。

目前的灭点检测方法一般分为三步：第一步为提取图像中的方向单元，比如线段；第二步是对方向单元进行聚类，形成候选的灭点；第三步是通过一些迭代的方法对灭点进行修正，去除伪灭点。一些灭点检测方法应用了更高级的先验知识，比如曼哈顿假设、水平线信息以及焦距信息等。然而，这些灭点检测方法在检测距离图像比较远的灭点时，准确率会下降，而且计算开销很大，耗时比较长。

发明内容

为了克服上述现有技术的不足，本发明提供一种快速准确的竖直方向灭点检测方法，并利用此竖直方向灭点检测方法实现视频的快速扭正，使得视频图像更加符合人们的视觉习惯。

为了实现这一目的，首先将视频逐帧分离成图片集，对每一张图片提取线段，将线段转换成ρ-θ对偶空间中带权重的点，采用带权重的随机抽样一致算法(random sampleconsensus，RANSAC)，在对偶空间进行直线拟合，根据直线参数计算图像坐标系下灭点坐标，据此计算图片变换的单应矩阵，将变换后的图片集合成新视频。

本发明的技术方案如下：

一种针对视频图像的竖直方向灭点检测方法，包括如下步骤：

1)提取图片中的线段：对于每一帧图片，将图片转化成灰度图像，使用LSD(LineSegment Detector，线段检测器)方法提取图片中的线段，只保留与竖直方向夹角在设定范围内的线段，具体实施时，取夹角范围为

2)变换到对偶空间：将步骤1)中保留的线段表示为ρ-θ对偶空间中带权重的点，θ代表原点到线段所在直线的垂线与x轴所成夹角，ρ表示原点到线段所在直线距离，权重值为图像坐标系下线段的长度；

3)在对偶空间做直线拟合，并且对直线进行修正：使用带权重的RANSAC方法在对偶空间中拟合直线，每一条直线的置信度score通过式1计算得到：

其中，P为内点集合，value_i为第i个内点的权重；

根据RANSAC内点，使用最小二乘法对直线进行修正。

4)计算得到竖直方向灭点坐标：

根据修正后的直线求解竖直方向灭点坐标，具体方法为：假设拟合直线为灭点对应三角函数的切线，灭点的图像坐标表示为式2：