[发明专利]目标跟踪方法和系统在审

专利信息
申请号: 201910882940.0 申请日: 2019-09-18
公开(公告)号: CN110658916A 公开(公告)日: 2020-01-07
发明(设计)人: 张龙杰;谢晓方;孙涛;贺英政;王诚成;刘厚君;孙晨峰;李威;栗泽宏 申请(专利权)人: 中国人民解放军海军航空大学
主分类号: G06F3/01 分类号: G06F3/01;G06T7/246;G06T5/50;G06N3/04;G06K9/62
代理公司: 51289 成都明涛智创专利代理有限公司 代理人: 丁国勇
地址: 264000 *** 国省代码: 山东;37
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 伺服控制指令 图像采集指令 采集设备 控制伺服 目标图像 目标信息 人员头部 双目图像 中心像素 云台 双目 测量目标距离 航空技术领域 快速检测 瞄准系统 目标跟踪 目标识别 偏差生成 人员操作 实时跟踪 实时计算 头部姿态 头盔显示 信息生成 预定目标 预设区域 姿态信息 智能化 随动 自动化 采集 跟踪
【权利要求书】:

1.一种目标跟踪方法,其特征在于,包括:

获取人员头部姿态信息,根据所述头部姿态信息生成图像采集指令,所述图像采集指令用于控制伺服云台连接双目图像采集设备在预设区域内采集双目目标图像;

获取所述双目目标图像并进行目标识别得到目标信息;

根据所述目标信息实时计算目标的中心像素偏差,根据所述中心像素偏差生成伺服控制指令,所述伺服控制指令用于控制伺服云台连接所述双目图像采集设备对目标进行实时跟踪。

2.如权利要求1所述的目标跟踪方法,其特征在于,所述获取所述双目目标图像并进行目标识别得到目标信息,包括:

获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别,得到目标类型和置信度信息;

基于SGBM匹配算法对所述双目目标图像进行图像融合得到目标视差图;

根据所述视差图确定目标的位置信息和距离信息。

3.如权利要求2所述的目标跟踪方法,其特征在于,所述获取所述双目目标图像并根据预设YOLO网络模型对目标进行识别,包括:

获取多张目标图像,对每张目标图像进行目标标注得到目标图像训练集;

将所述目标图像训练集输入到原始YOLO网络模型进行目标检测,根据检测结果更新原始YOLO网络模型的权重文件;

在所述权重文件满足预设条件时建立预设YOLO网络模型;

将所述双目目标图像输入预设YOLO网络模型进行目标识别,并通过NMS算法对识别结果的重叠检测框进行删减。

4.如权利要求2所述的目标跟踪方法,其特征在于,所述基于SGBM匹配算法对所述双目目标图像进行图像融合得到目标视差图,包括:

获取所述双目图像采集设备进行双目标定得到的内参数矩阵和畸变矩阵;

利用Rodrigues函数的旋转向量对所述内参数矩阵进行校正得到重投影矩阵,对所述畸变矩阵进行校准得到重映射矩阵;

将所述双目目标图像的双目灰度图像与所述重映射矩阵进行图像匹配得到第一匹配结果;

基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图。

5.如权利要求4所述的目标跟踪方法,其特征在于,所述基于SGBM匹配算法将所述双目灰度图像、所述重投影矩阵以及所述第一匹配结果进行匹配得到目标视差图,包括:

对双目灰度图像分别进行水平Sobel处理、图像映射处理和采样处理并得到预处理双目图像;

对双目灰度图像进行梯度代价计算,对预处理双目图像进行SAD代价计算,根据两个计算结果进行能量函数路径积累得到左右目标图像的预设匹配点;

根据所述预设匹配点、重投影矩阵以及第一匹配结果进行视差检测得到目标视差图。

6.如权利要求1至5任一项所述的目标跟踪方法,其特征在于,在根据所述目标信息实时计算目标的中心像素偏差之前,还包括:

获取人员的语音信息,基于预设TensorFlow系统对所述语音信息进行语音识别;

根据识别结果进入自主跟踪模式,所述自主跟踪模式包括根据所述目标信息实时计算目标的中心像素偏差,根据中心像素偏差生成伺服控制指令。

7.如权利要求6所述的目标跟踪方法,其特征在于,所述获取人员的语音信息,基于预设TensorFlow系统对所述语音信息进行语音识别,包括:

建立语音样本集,将所述语音样本集进行频域转换并得到用于计算倒谱特征的MFCC特征向量集;

建立依次包括全连接层网络、Bi-RNN网络和至少两个全连接层的初始TensorFlow系统;

将所述MFCC特征向量集输入到所述初始TensorFlow系统进行语音模型训练得到预设TensorFlow系统;

获取人员的语音信息,基于所述预设TensorFlow系统对所述语音信息进行语音识别。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军海军航空大学,未经中国人民解放军海军航空大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910882940.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top