[发明专利]基于无人机POS数据的视频融合方法、系统、介质及装置

权利要求书

1.一种基于无人机POS数据的视频融合方法，其特征在于，所述视频融合方法包括：

获取初始视频在选定的第一视频帧位置的第一POS数据和第一图像数据；

将待拼接视频的各第二POS数据分别与所述第一POS数据进行匹配，并将匹配成功的第二POS数据所在的视频帧位置确定为第二视频帧位置；

获取所述待拼接视频在所述第二视频帧位置的第二图像数据；

基于所述第一图像数据和所述第二图像数据将所述初始视频与所述待拼接视频进行融合；

“基于所述第一图像数据和所述第二图像数据将所述初始视频与所述待拼接视频进行融合”的步骤包括：

通过SURF算法提取所述第一图像数据中的多个第一特征点和所述第二图像数据中的多个第二特征点，并确定多个所述第一特征点与多个所述第二特征点之间的匹配关系；

基于多个所述第一特征点与多个所述第二特征点之间的匹配关系，通过RANSAC算法确定所述第一图像数据与所述第二图像数据之间的匹配模型；

基于所述匹配模型对所述第二图像数据进行预处理，以得到与所述第一图像数据的尺寸和形状相匹配的预处理后的第二图像数据；

基于所述第一图像数据和所述预处理后的第二图像数据将所述初始视频与所述待拼接视频进行融合；

“基于所述第一图像数据和所述预处理后的第二图像数据将所述初始视频与所述待拼接视频进行融合”的步骤包括通过公式(1)和(2)将所述第一图像数据与所述预处理后的第二图像数据进行融合：

公式(1)中，

其中，I₁(x,y)表示第一图像数据的像素点位置矩阵，I₂(x,y)表示所述预处理后的第二图像数据的像素点位置矩阵，I(x,y)表示将所述第一图像数据与所述预处理后的第二图像数据进行融合后得到的融合图像的像素点位置矩阵，x₁表示所述第一图像数据与所述预处理后的第二图像数据的重叠区域的左边界在X轴上的坐标，x₂表示所述第一图像数据与所述预处理后的第二图像数据的重叠区域的右边界在X轴上的坐标。

2.根据权利要求1所述的视频融合方法，其特征在于，“通过SURF算法提取所述第一图像数据中的多个第一特征点和所述第二图像数据中的多个第二特征点，并确定所述第一图像数据中的多个第一特征点与所述第二图像数据中的多个第二特征点之间的匹配关系”的步骤包括：

通过Hessian矩阵生成所述第一图像数据的多个第一兴趣点以及所述第二图像数据的多个第二兴趣点；

基于尺度空间滤波器，分别在多个所述第一兴趣点中筛选出多个第一特征点以及在多个所述第二兴趣点中筛选出多个第二特征点；

通过统计多个所述第一特征点的圆形邻域内的harr小波特征确定出各第一特征点的主方向，以及通过统计多个所述第二特征点的圆形邻域内的harr小波特征确定出各第二特征点的主方向；

依据各所述第一特征点的主方向生成各所述第一特征点的第一描述子，依据各所述第二特征点的主方向生成各所述第二特征点的第二描述子；

计算各所述第一描述子与各所述第一描述子之间的欧式距离；

基于欧式距离满足预设距离阈值的第一描述子与第二描述子确定多个所述第一特征点与多个所述第二特征点之间的匹配关系。

3.根据权利要求1所述的视频融合方法，其特征在于，所述视频融合方法还包括：

获取所述初始视频在选定的连续多个第一视频帧位置的第一POS数据和第一图像数据；

将待拼接视频的各连续多个视频帧位置的第二POS数据分别与所述第一POS数据进行匹配，并将匹配成功的第二POS数据对应的连续多个视频帧位置确定为连续多个第二视频帧位置；

获取所述待拼接视频在所述连续多个第二视频帧位置的第二图像数据；

基于所述第一图像数据和所述第二图像数据将所述初始视频与所述待拼接视频进行融合。