[发明专利]一种目标行为分类方法、存储介质及终端在审
申请号: | 202011401863.1 | 申请日: | 2020-12-04 |
公开(公告)号: | CN114612999A | 公开(公告)日: | 2022-06-10 |
发明(设计)人: | 邓志东;张睿文;鹿红超 | 申请(专利权)人: | 丰田自动车株式会社;清华大学 |
主分类号: | G06V40/20 | 分类号: | G06V40/20;G06V20/40;G06V20/54;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 吴敏 |
地址: | 日本爱知*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 目标 行为 分类 方法 存储 介质 终端 | ||
本发明提供一种目标行为分类方法、存储介质以及终端。所述目标行为分类方法包括:获取多帧待识别图像,所述多帧待识别图像反映不同时刻的车道场景;根据所述多帧待识别图像,识别运动目标和车道线;获取所述运动目标的行为时间序列数据,所述行为时间序列数据包括多个相对位置关系;将所述行为时间序列数据输入相空间重构网络模型,确定所述运动目标的行为预测结果,其中,所述相空间重构网络模型包括:相空间以及CNN网络分类器,所述相空间根据输入的所述行为时间序列数据进行重构,且其输入输出聚合起来作为CNN分类器的输入;所述运动目标的行为预测结果包括从左侧闯入车道、从右侧闯入车道以及未闯入车道。
技术领域
本发明涉及图像处理技术领域,特别涉及一种目标行为分类方法、存储介质以及终端。
背景技术
车道闯入行为预测问题的主要技术是动作识别,更准确地是高速远距场景下的动作识别。视频动作识别是指由一段连续的视频(即图像帧序列),识别出视频中目标(主要指人)的动作。视频中包含两类特征:时间特征和空间特征,同时提取时空特征需要计算一帧之内和不同帧之间的像素的关系。
现有对车道闯入行为分类需要借助高精度导航数据以及地图信息,对网络质量、车载设备硬件、车载设备软件更新等都有较高的要求。
因此,需要一种新的对运动目标动作进行识别和分类的方法。
发明内容
本发明要解决的技术问题为:提出一种目标行为分类方法、存储介质以及终端,可以实现高速远距场景下运动目标的动作识别以及分类。
为解决上述问题,本发明实施例提供了一种目标行为分类方法,包括:获取多帧待识别图像,所述多帧待识别图像反映不同时刻的车道场景;根据所述多帧待识别图像,识别所述多帧待识别图像中的运动目标和车道线;获取所述运动目标的行为时间序列数据,所述行为时间序列数据包括按照所述多帧待识别图像对应的时刻顺序排列的多个相对位置关系;将所述行为时间序列数据输入相空间重构网络模型,以确定所述运动目标的行为预测结果,其中,所述相空间重构网络模型包括:相空间以及卷积神经网络(ConvolutionalNeutral Network,CNN)分类器,所述相空间根据输入的所述行为时间序列数据进行重构,且其所有输入输出聚合起来作为所述CNN分类器的输入;所述运动目标的行为预测结果包括从左侧闯入车道、从右侧闯入车道以及未闯入车道。
可选地,所述识别所述多帧待识别图像中的运动目标和车道线包括:将各帧待识别图像分别输入至训练好的运动目标检测模型和车道线检测模型,所述运动目标检测模型输出识别到的所述运动目标的像素坐标,所述车道线检测模型输出识别到的所述车道线的像素坐标。
可选地,所述运动目标以包络盒的像素坐标表示,所述车道线以其在待识别图像中像素的坐标表示。
可选地,所述获取所述运动目标的行为时间序列数据包括:将每帧待识别图像中识别得到的运动目标和当前车道线按照像素坐标映射在同一映射图像中,每帧待识别图像具有对应的映射图像;在每一映射图像中确定水平基准线,并确定所述运动目标在所述水平基准线上的第一像素坐标,以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标;根据每一映射图像中第一像素坐标、第二像素坐标和第三像素坐标,获得所述待识别图像中所述运动目标的行为时间序列数据。
可选地,所述运动目标与路面的接触线作为所述水平基准线。
可选地,所述获得所述待识别图像中所述运动目标的行为时间序列数据包括:根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的中心点在所述水平基准线上的第四像素坐标;计算每一映射图像中所述第一像素坐标与第四像素坐标的差值,以作为所述相对位置关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于丰田自动车株式会社;清华大学,未经丰田自动车株式会社;清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011401863.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种目标行为分类方法、存储介质及终端
- 下一篇:降噪结构和家电设备