[发明专利]目标跟踪方法和系统在审
申请号: | 201910882940.0 | 申请日: | 2019-09-18 |
公开(公告)号: | CN110658916A | 公开(公告)日: | 2020-01-07 |
发明(设计)人: | 张龙杰;谢晓方;孙涛;贺英政;王诚成;刘厚君;孙晨峰;李威;栗泽宏 | 申请(专利权)人: | 中国人民解放军海军航空大学 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G06T7/246;G06T5/50;G06N3/04;G06K9/62 |
代理公司: | 51289 成都明涛智创专利代理有限公司 | 代理人: | 丁国勇 |
地址: | 264000 *** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 伺服控制指令 图像采集指令 采集设备 控制伺服 目标图像 目标信息 人员头部 双目图像 中心像素 云台 双目 测量目标距离 航空技术领域 快速检测 瞄准系统 目标跟踪 目标识别 偏差生成 人员操作 实时跟踪 实时计算 头部姿态 头盔显示 信息生成 预定目标 预设区域 姿态信息 智能化 随动 自动化 采集 跟踪 | ||
1.一种目标跟踪方法,其特征在于,包括:
获取人员头部姿态信息,根据所述头部姿态信息生成图像采集指令,所述图像采集指令用于控制伺服云台连接双目图像采集设备在预设区域内采集双目目标图像;
获取所述双目目标图像并进行目标识别得到目标信息;
根据所述目标信息实时计算目标的中心像素偏差,根据所述中心像素偏差生成伺服控制指令,所述伺服控制指令用于控制伺服云台连接所述双目图像采集设备对目标进行实时跟踪。
2.如权利要求1所述的目标跟踪方法,其特征在于,所述获取所述双目目标图像并进行目标识别得到目标信息,包括:
获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别,得到目标类型和置信度信息;
基于SGBM匹配算法对所述双目目标图像进行图像融合得到目标视差图;
根据所述视差图确定目标的位置信息和距离信息。
3.如权利要求2所述的目标跟踪方法,其特征在于,所述获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别,包括:
获取多张目标图像,对每张目标图像进行目标标注得到目标图像训练集;
将所述目标图像训练集输入到原始YOLO网络模型进行目标检测,根据检测结果更新原始YOLO网络模型的权重文件;
在所述权重文件满足预设条件时建立预设YOLO网络模型;
将所述双目目标图像输入预设YOLO网络模型进行目标识别,并通过NMS算法对识别结果的重叠检测框进行删减。
4.如权利要求2所述的目标跟踪方法,其特征在于,所述基于SGBM匹配算法对所述双目目标图像进行图像融合得到目标视差图,包括:
获取所述双目图像采集设备进行双目标定得到的内参数矩阵和畸变矩阵;
利用Rodrigues函数的旋转向量对所述内参数矩阵进行校正得到重投影矩阵,对所述畸变矩阵进行校准得到重映射矩阵;
将所述双目目标图像的双目灰度图像与所述重映射矩阵进行图像匹配得到第一匹配结果;
基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图。
5.如权利要求4所述的目标跟踪方法,其特征在于,所述基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图,包括:
对双目灰度图像分别进行水平Sobel处理、图像映射处理和采样处理并得到预处理双目图像;
对双目灰度图像进行梯度代价计算,对预处理双目图像进行SAD代价计算,根据两个计算结果进行能量函数路径积累得到左右目标图像的预设匹配点;
根据所述预设匹配点、重投影矩阵以及第一匹配结果进行视差检测得到目标视差图。
6.如权利要求1至5任一项所述的目标跟踪方法,其特征在于,在根据所述目标信息实时计算目标的中心像素偏差之前,还包括:
获取人员的语音信息,基于预设TensorFlow系统对所述语音信息进行语音识别;
根据识别结果进入自主跟踪模式,所述自主跟踪模式包括根据所述目标信息实时计算目标的中心像素偏差,根据中心像素偏差生成伺服控制指令。
7.如权利要求6所述的目标跟踪方法,其特征在于,所述获取人员的语音信息,基于预设TensorFlow系统对所述语音信息进行语音识别,包括:
建立语音样本集,将所述语音样本集进行频域转换并得到用于计算倒谱特征的MFCC特征向量集;
建立依次包括全连接层网络、Bi-RNN网络和至少两个全连接层的初始TensorFlow系统;
将所述MFCC特征向量集输入到所述初始TensorFlow系统进行语音模型训练得到预设TensorFlow系统;
获取人员的语音信息,基于所述预设TensorFlow系统对所述语音信息进行语音识别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军海军航空大学,未经中国人民解放军海军航空大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910882940.0/1.html,转载请声明来源钻瓜专利网。