[发明专利]一种视频处理方法、移动终端及可读存储介质

说明书

本发明公开了一种视频处理方法，适于在移动终端中执行，该方法包括：获取待处理视频流，待处理视频流包含多个视频帧；对视频流中的视频帧进行目标检测，获取视频帧中的目标对象的边界框；根据边界框从视频帧中分割出包含目标对象的目标图像，对目标图像进行关键点检测，得到该目标图像中的初始关键点坐标；对当前视频帧以及当前视频帧之前的预定数目个视频帧中的关键点坐标，输入时序神经网络进行处理，得到当前视频帧的最终关键点坐标。本发明一并公开了相应的移动终端及可读存储介质。

技术领域

本发明涉及视频处理领域，特别涉及一种视频处理方法、移动终端及可读存储介质。

背景技术

随着深度学习技术的发展和应用，视频处理技术迅速发展并得到广泛关注，视频中关键点定位成为视频处理技术中的一个重点，主要包含两个步骤，首先使用端到端的检测网络检测出目标位置，然后使用关键点定位网络进行关键点检测，但是通常会因为检测网络中正样本过少，样本不均衡导致准确率较低，同时由于关键点定位网络中正向传播中存在信息损失，导致定位误差较大，对于视频中关键点定位算法，由于视频中关键点存在抖动的情况，视频播放时体验较差。

发明内容

为此，本发明提供了一种视频处理方法、移动终端及可读存储介质，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种视频处理方法，适于在移动终端中执行，方法包括：获取待处理视频流，待处理视频流包含多个视频帧；对视频流中的视频帧进行目标检测，获取视频帧中的目标对象的边界框；根据边界框从视频帧中分割出包含目标对象的目标图像，对目标图像进行关键点检测，得到该目标图像中的初始关键点坐标；对当前视频帧以及当前视频帧之前的预定数目个视频帧中的关键点坐标，输入时序神经网络进行处理，得到当前视频帧的最终关键点坐标。

可选的，再根据本发明视频处理方法中，对视频流中的视频帧进行目标检测，获取视频帧中的目标对象的边界框包括：若当前视频帧为关键视频帧，则将该帧输入目标检测网络进行目标检测，得到目标对象的边界框，其中关键视频帧为根据预定间隔从所述视频流中抽取的视频帧；若当前视频帧为非关键视频帧，则根据该视频帧的上一帧的最终关键点坐标计算当前帧中的目标对象的边界框。

可选的，再根据本发明视频处理方法中，对视频流中的视频帧进行目标检测，获取视频帧中的目标对象的边界框还包括：对视频帧中的目标对象的边界框进行非极大值抑制处理。

可选的，再根据本发明视频处理方法中，根据该视频帧的上一帧的关键点位置计算当前帧中的目标对象的边界框包括：获取该视频帧的上一帧的最终关键点坐标；根据预设的边界框算法计算出目标对象的边界框。

可选的，再根据本发明视频处理方法中，对目标图像进行关键点检测，得到该目标图像中的初始关键点坐标包括：将目标图像输入关键点检测网络得到目标图像的初始关键点坐标。

可选的，再根据本发明视频处理方法中，目标检测网络包括SSD-MobileNet神经网络。

可选的，再根据本发明视频处理方法中，SSD-MobileNet神经网络的分类损失函数为聚焦损失函数。

可选的，再根据本发明视频处理方法中，关键点检测网络为深度对齐网络。

可选的，再根据本发明视频处理方法中，深度对齐网络中的前馈神经网络模块包含有门控机制。

可选的，再根据本发明视频处理方法中，时序神经网络为基于门控循环单元的时序神经网络。

可选的，再根据本发明视频处理方法中，目标对象为汽车，获取视频帧中的目标对象的边界框包括获取车辆的边界框和车辆方向。

可选的，再根据本发明视频处理方法中，对目标图像进行关键点检测包括：根据车辆方向选取对应的关键点检测网络；将包含汽车的目标图像输入对应的关键点检测网络得到汽车的初始关键点坐标。