[发明专利]一种基于异构计算的图像去抖动系统

说明书

本发明公开了一种基于异构计算的图像去抖动系统。该系统包括中央处理单元，图形处理单元以及存储器，其中在所述中央处理单元的控制下，所述图形处理单元接收所述第一帧图像，并确定待取特征点的位置和最小特征值，所述中央处理单元选取最小特征值最大、且两两距离大于预先设定的特定值的前N个像素点作为N个特征点，在所述中央处理单元的控制下，所述图形处理单元生成矩阵M；所述中央处理单元对所述矩阵M进行分解，并对分解所得矩阵去抖动，得到去抖的特征点坐标；在所述中央处理单元的控制下，所述图形处理单元基于去抖的特征点坐标进行图像重建。通过本发明能够获得高清晰度和低抖动性的视频图像。

技术领域

本发明涉及图像处理领域，尤其涉及基于异构计算的图像去抖动系统。

背景技术

图像去抖动技术指的是从摄像机的实际运动中去除不期望的无意运动，这样处理后的视频在视觉上将变得平滑，减轻了由于无意运动引起的画面之间的跳动感。

现有的去抖动方法主要分为两大类：光学去抖动和电子去抖动。光学防抖是通过镜头内置的仪器感应相机的抖动，再通过调整镜头内透镜的位置而达到去抖动效果。电子去抖动，是通过电子手段来对图像进行处理，以减轻抖动对图像的影响。电子防抖的方法很多，一种方式是通过陀螺仪等传感器来感知当前相机的抖动情况，从而实现去抖动功能。还有一种方式是通过后期对抖动模糊图像进行图像处理来对图像进行抖动补偿。

采用了加速度计等传感器的方法需要增加一定硬件成本。而通过后期对抖动模糊图像进行图像处理的方法一般计算量很大、且耗时长，无法实现在便携式设备上。

因此，需要一种新颖的去抖动技术，能够至少部分地解决上述现有技术中存在的问题。

发明内容

本发明的目的是提供一种基于异构计算的图像去抖动系统。通过本发明的图像去抖动系统，可大幅度减少计算量的同时具有非常高的计算效率，降低了硬件设备的配置需求，使得能够在低配置的移动端设备上使用，最后得到的视频图像具有高清晰度和低抖动性的优点。

根据本发明的一个方面，提供一种图像去抖动系统，包括中央处理单元，图形处理单元以及存储器，其中所述中央处理单元接收连续的F帧图像中的一帧图像并判断所述一帧图像是否为第一帧图像，在所述中央处理单元的控制下，所述图形处理单元接收所述第一帧图像，并确定待取特征点的位置和最小特征值，所述中央处理单元选取最小特征值最大、且两两距离大于预先设定的特定值的前N个像素点作为N个特征点，在所述中央处理单元的控制下，所述图形处理单元跟踪所述N个特征点在所述F帧图像中的其它帧图像中的坐标，并从中选取m个特征点，利用所述m个特征点的在F帧图像中的坐标生成矩阵M；所述中央处理单元对所述矩阵M进行分解，并对分解所得矩阵去抖动，得到去抖的特征点坐标；在所述中央处理单元的控制下，所述图形处理单元基于去抖的特征点坐标进行图像重建。

进一步地，所述图形处理单元通过连续分层处理确定各帧图像之间的位移矢量。

进一步地，所述m个特征点为在F帧图像中皆出现的特征点。

进一步地，所述中央处理单元将所述矩阵M分解为矩阵C和矩阵E，所述矩阵E为所述m个特征点中的多个代表点的轨迹矩阵，所述矩阵C为所述m个特征点与所述多个代表点之间的几何关系。

进一步地，当所述中央处理单元已处理所述F帧图像中的δ帧之后，移除所述矩阵M中的γδ个点，引进后续的δ帧，添加后面帧中γδ个皆出现的特征点，由此所述矩阵M变为矩阵M1。

进一步地，所述中央处理单元对所述矩阵E的行向量进行光滑化处理。

进一步地，所述图形处理单元通过平移、旋转和/或缩放方式使每帧图像从其原始位置校正到光滑的运动轨迹上的位置。

进一步地，所述图形处理单元基于去抖的特征点坐标进行保持图像内容的扭转重建。