[发明专利]姿态跟踪方法、装置、电子设备和计算机可读介质在审
申请号: | 202210395730.0 | 申请日: | 2022-04-15 |
公开(公告)号: | CN115311324A | 公开(公告)日: | 2022-11-08 |
发明(设计)人: | 傅泽华;左文航;胡征慧;刘庆杰;王蕴红 | 申请(专利权)人: | 北京航空航天大学杭州创新研究院 |
主分类号: | G06T7/246 | 分类号: | G06T7/246;G06V40/10;G06N3/08;G06N3/04;G06K9/62;G06V10/764;G06V10/82 |
代理公司: | 北京唯智勤实知识产权代理事务所(普通合伙) 11557 | 代理人: | 孙姣 |
地址: | 310051 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 姿态 跟踪 方法 装置 电子设备 计算机 可读 介质 | ||
1.一种姿态跟踪方法,包括:
对行人视频进行逐帧检测,得到人体边界框组集,其中,所述人体边界框组集中的人体边界框组对应于行人视频包括的行人视频帧;
将所述人体边界框组集输入至关节点置信度网络,得到人体姿态信息组集;
根据所述人体姿态信息组集,对所述人体姿态信息组集中的每个人体姿态信息组进行匹配处理,以生成匹配结果组,得到匹配结果组集,其中,所述匹配结果组中的匹配结果包括对应所述匹配结果的人体边界框的至少一个视频帧号;
响应于确定所述匹配结果组集中存在满足预设视频帧号条件的匹配结果,根据满足所述预设视频帧号条件的匹配结果所对应的各个匹配结果组,生成人体光流框组集,其中,所述预设视频帧号条件为匹配结果包括的至少一个视频帧号中不包含下一视频帧号,所述下一视频帧号为所述至少一个视频帧号中所述匹配结果对应的视频帧号的下一帧视频的视频帧号;
将所述人体光流框组集输入至所述关节点置信度网络,得到光流人体姿态信息组集和光流关节点置信度信息组集;
基于所述光流关节点置信度信息组集,对所述光流人体姿态信息组集进行过滤,得到目标人体姿态信息组集。
2.根据权利要求1所述的方法,其中,所述生成人体光流框组集,包括:
根据满足所述预设视频帧号条件的匹配结果所对应的各个匹配结果组,确定待处理视频帧集合;
根据所述待处理视频帧集合中每对相邻的两帧待处理视频帧,执行以下步骤:
根据所述相邻的两帧待处理视频帧,生成光流图矩阵,其中,所述光流图矩阵包括像素偏移量集合;
从所述人体姿态信息组集中选择对应所述相邻的两帧待处理视频帧的人体姿态信息组作为第一人体姿态信息组,得到第一人体姿态信息组集;
从所述第一人体姿态信息组集中选择满足所述预设视频帧号条件的匹配结果所对应的第一人体姿态信息作为第二人体姿态信息,得到至少一个第二人体姿态信息;
对于所述至少一个第二人体姿态信息中的每个第二人体姿态信息,从所述像素偏移量集合中选择对应的像素位于所述第二人体姿态信息对应的范围内的像素偏移量作为目标像素偏移量,得到对应所述第二人体姿态信息的目标像素偏移量集合;
根据所述目标像素偏移量集合,生成光流掩码图;
将所述光流掩码图的最小外接矩形确定为人体光流框。
3.根据权利要求1所述的方法,其中,所述对所述光流人体姿态信息组集进行过滤,包括:
对于所述光流关节点置信度信息组集包括的每个光流关节点置信度信息,根据所述光流关节点置信度信息,生成平均光流关节点置信度;
从所得到的平均光流关节点置信度中选择小于预设光流阈值的平均光流关节点置信度作为第一待过滤置信度;
将得到的第一待过滤置信度对应的光流人体姿态信息从所述光流人体姿态信息组集中删除。
4.根据权利要求1所述的方法,其中,所述关节点置信度网络包括骨干网络、关节点预测分支和关节点可用性分支,所述关节点可用性分支包括残差网络和至少一个分类器。
5.根据权利要求1所述的方法,其中,所述方法还包括:
将所述匹配结果组集中满足预设单视频帧号条件的匹配结果确定为目标匹配结果,得到目标匹配结果集合;
从所述人体姿态信息组集中选择对应所述目标匹配结果集合包括的目标匹配结果的人体姿态信息作为待整合人体姿态信息,得到待整合人体姿态信息集合;
将所述待整合人体姿态信息集合输入至预设行人特征模型,得到待整合行人特征信息集合;
根据所述待整合行人特征信息集合,生成所述待整合行人特征信息集合中每个待整合行人特征信息的行人特征相似度信息,得到行人特征相似度信息集合;
将所述行人特征相似度信息集合中满足预设相似度条件的行人特征相似度信息确定为目标相似度信息,得到目标相似度信息集合;
根据所述目标相似度信息集合,对所述匹配结果组集进行更新;
对于所述目标相似度信息集合中的每个目标相似度信息,从所述行人特征相似度信息集合中删除对应所述目标相似度信息的行人特征相似度信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学杭州创新研究院,未经北京航空航天大学杭州创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210395730.0/1.html,转载请声明来源钻瓜专利网。