[发明专利]一种融合脉冲数据和帧数据的运动图像的超分辨提升方法

权利要求书

1.一种融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，包括以下步骤：

S1.数据输入：将脉冲相机和传统相机固定在同一平面上，每次使用时都要获取动态的矫正棋盘格信息数据，同时将脉冲数据和帧数据输出；

S2.同步数据：根据时间戳对所述脉冲数据和所述帧数据进行同步，同步的时间戳以所述帧数据为基准，所述脉冲数据包含上一帧到当前帧时间段的所有数据；

S3.脉冲光流：提取所述脉冲数据的光流特征；

S4.帧数据光流：提取所述帧数据的光流特征；

S5.数据矫正：利用步骤S1获取到的所述棋盘格信息数据，通过计算后对所述脉冲数据进行校正，使其可以映射到帧数据的坐标系中；

S6.数据融合：将步骤S5校正好的光流特征进行融合；

S7.生成恢复：通过步骤S6数据融合后的数据恢复为高帧率、高质量的帧数据；

S8.数据输出：输出高帧率的视频数据。

2.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S2中，同步数据包括脉冲数据和帧数据的时间对齐，以及脉冲数据和帧数据空间对齐。

3.根据权利要求2所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S2中，所述脉冲数据和所述帧数据的时间对齐通过设置绝对时间戳来实现，即帧数据当前时间的数据和脉冲数据此时刻数据到上一帧时间内的所有数据为同一时刻数据。

4.根据权利要求2所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S2中，所述脉冲数据和所述帧数据空间对齐通过移动的棋盘格进行对齐，首先将所述棋盘格设置成圆形，并按照一定速度匀速旋转，按照时间对齐的要求进行数据提取，时间持续1s，将脉冲按照20ms的时间间隔映射为图像帧，对1s钟的数据利用棋盘格求出两个相机的候选坐标系，并将每个相机的候选坐标系进行平均计算，均值结果作为两个坐标系的最终输出，并在坐标系的基础上建立所述两个坐标系的映射关系。

5.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S3中，采用滑动窗口的形式收集，当脉冲相机输出脉冲信号时，信号便在一个矩阵窗口进行累计，当累计到一定数量时，保存窗口，重新累计，新的累计完成时，计算相邻两个窗口的L1-光流特征，依次类推。

6.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S4中，直接对相邻的帧数据采用L1-光流法进行光流提取。

7.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S6中，将所述帧数据和所述脉冲数据分别映射到光流特征空间后，光流特征包含运动矢量信息，在数据融合前需要采用步骤S2中的脉冲数据和帧数据进行时间对齐和空间对齐，所述时间对齐将脉冲相机时间段的数据对应到帧相机时间点的数据，空间对齐需要坐标系进行映射，将脉冲相机的光流特征通过两个坐标系的转换，将坐标映射到所述帧数据下的坐标系中，然后，采用直接相加的方法就可以完成融合，在所述帧数据的光流特征的基础上叠加上脉冲数据的光流特征。

8.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S7中，利用融合后的光流特征对原视频进行修复，融合后的光流特征和源视频帧同时输入训练好的生成对抗网络中，设定相应的输出参数，网络通过光流特征，对视频帧进行生成加帧处理，以对所述原视频进行恢复。

9.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法，其特征在于，在步骤S8中，将步骤S7中生成的数据按照AVS3编码后输出。