[发明专利]一种基于TX2的嵌入式全景视频拼接系统

权利要求书

1.一种基于TX2的嵌入式全景视频拼接系统，其特征在于，包括视频采集分系统、视频拼接分系统、目标检测识别分系统和透视观察显示分系统；

所述视频采集分系统包括视频帧捕获模块和视频帧数据编码转换模块，所述视频帧捕获模块包括N路摄像头，视频帧捕获模块用于，实现对N路摄像头采集数据的捕获，并将捕获的视频数据传递给视频帧数据编码转换模块；

所述视频帧数据编码转换模块将视频转换为视频拼接分系统能够识别的RGB编码，并发送给视频拼接分系统；

所述视频拼接分系统利用OpenCV库进行实时的视频拼接融合，并将结果发送给目标检测识别分系统；

所述目标检测识别分系统用于，实现对视频中的军事敏感目标进行实时检测和识别，目标检测和识别结果将同步在透视观察显示分系统上进行显示；

所述N路摄像头部署在战车周围或作为一个N路摄像头模组部署在车顶部，所述摄像头为非广角、非鱼眼的摄像头；

所述视频拼接分系统部署在战车内部；

所述视频拼接分系统利用OpenCV库进行实时的视频拼接融合，其中，对于第一帧视频帧图像的拼接融合处理包括如下步骤：

步骤1，畸变矫正：采用基于二维屏幕棋盘格模板的方法对图像进行矫正畸变；

步骤2，利用改进的SURF算法对视频帧图像提取特征点：在SURF特征矢量中增加了一个新的变量，即特征点的拉普拉斯属性，这两类特征点具有不同的属性，在匹配时只需对同类的特征点进行匹配，图像中两个特征点之间相似性的度量采用距离函数进行度量，通过相似性的度量就能够得到待配准图像间的潜在匹配点对，具体方法为：使用比值匹配法，即将一幅图像作为样本，在样本的特征点中寻找在另外一幅图像中与它距离最近的特征点和次近特征点，然后计算这两个特征点与样本点之间欧氏距离的比值，对于比值小于阈值的特征点，则判定是正确匹配的特征点；

步骤3，根据相邻两个摄像头采集画面的重叠区域的大小对匹配的特征点进行筛选，设定每个摄像头采集的图像的宽度为W，重叠区域比例为f，则重叠区域的宽度为f*W，设定多个摄像头在水平方向呈圆形排列，则待融合的两幅源图像为左边图像、右边图像，左边图像的特征点为l-Points，右边图像的特征点为r-Points，特征点筛选方法为：如果，l-Points的宽度cols值大于f*W，同时小于W，该匹配点保留，否则丢弃；如果，r-Points的宽度cols值小于(1-f)*W，同时大于0，该匹配点保留，否则丢弃；

步骤4，采用柱面投影的方法对平面图像进行预处理，将在平面上提取的经过筛选的匹配特征点进行柱面投影变换；

步骤5，确定平移量：利用步骤3筛选过的高度匹配的特征点计算出图像之间的平移量，然后将源图像平移到目标图像上；图像拼接平移量的计算方法是取所有匹配特征点平移量的平均值作为图像的平移量，计算公式为：

其中，W_t是目标图像宽度，P_i,x是目标图像上的特征点横坐标，P′_i,x是源图像上的对应特征点的横坐标，P_i,y是目标图像上的特征点纵坐标，P′_i,y是源图像上的对应特征点的纵坐标，N是匹配的特征点数量，diff_x是x方向平移量，diff_y是y方向平移量；

步骤6，图像融合：图像融合之前先分别进行柱面投影，将圆形分布的两个以上的视频帧投影到柱面上，取左边的图像为目标图像，右边的图像为源图像，源图像在平移量的作用下，与目标图像融合；

步骤6包括：设定图像拼接结果为I_result，W和H分别表示拼接结果的宽和高，W′_t和H′_t分别表示目标图像柱面投影后的宽和高，W′_s是源图像投影后的宽，W和H的计算方法为：

将圆形分布的摄像头采集的视频帧图像用步骤1至步骤6的方法进行图像融合操作，获得360°的全景视频；

所述目标检测识别分系统部署在战车内部，目标检测识别分系统包括目标定位跟踪模块，目标检测识别模块、网络传输模块和视频信息发送模块；

其中，目标定位跟踪模块，用于，对视频中的运动目标进行定位跟踪；

目标检测识别模块，用于，基于深度卷积神经网络的人工智能技术实现对视频中军事敏感目标进行检测识别，并且将检测结果叠加到全景视频画面上；

网络传输模块，用于，实现全景视频的压缩编码、发送和接收；

视频信息发送模块，用于，实现叠加目标检测识别信息的全景视频的发送，将视频帧信息转换为格式化的二进制信息，并且调用网络传输模块，将信息发送到车载显示终端或者AR增强现实眼镜上；

所述透视观察显示分系统部署在战车内部，用于，实现对全景视频的接收和显示；显示载体为车内显示终端或AR增强现实眼镜；

透视观察显示分系统包括视频信息接收处理模块和界面绘制显示模块；

其中，视频信息接收处理模块，用于，将叠加了目标检测识别信息的全景视频从二进制转化为能够绘制显示的格式；

界面绘制显示模块，用于，将经过视频信息接收处理模块处理过的全景视频信息进行实时刷新显示。