[发明专利]一种基于强化学习的视频序列二维姿态估计方法

说明书

本发明提供了一种基于强化学习的视频序列二维姿态估计方法，首先构建强化学习智能体的整体状态，然后输出动作，从当前视频序列中选择一个标注帧和一个未标注帧，两帧通过姿态估计器得到姿态，并被一起送入动作转换器完成动作转换并更新姿态估计器和动作转换器，最后根据姿态估计器的提升算出智能体的回报，并更新优化智能体。本发明利用强化学习和主动学习的思想，通过充分挖掘视频中的时序信息选出最有信息量的视频帧对，从而可以很好地抵御人体自遮挡，运动模糊等问题，可提高视频姿态估计方法的准确性和鲁棒性。本发明不同于常见的监督学习方案，仅使用少量的视频标注帧来完成姿态估计器的学习，较为明显地降低了人工标注量，从而实用性更高。

技术领域

本发明涉及视频二维人体姿态估计技术领域，具体涉及一种基于强化学习的视频序列二维姿态估计方法。

背景技术

视频人体姿态估计一直备受计算机视觉界研究者的关注，是计算机视觉领域中一个重要的研究方向，其核心研究内容是从单个或多个视频序列中检测人体(包括运动分割与目标分类)，跟踪以及对人体运动进行识别与理解(包括姿态估计与动作识别及其描述)。其中，单目视频中人体姿态估计以期从单目视频中分析人体图像特征，进而估计人体二维姿态参数，是视频人体姿态估计中最复杂的研究分支之一。由于其涉及计算机视觉、模式识别以及人工智能等领域，是一个极具挑战的跨学科研究技术。

目前，多目视频中有标记点的三维人体运动捕获技术已经较为成熟地被广泛应用于动画制作、游戏和电影特效等领域中。但是，由于其对硬件设备要求较高、系统价格昂贵等原因并没有在其他领域得到广泛应用。相对而言，单目视频的人体姿态估计技术由于其信息采集方便、更广泛的应用前景以及对技术的更大挑战逐渐成为了一个活跃的研究领域。除此之外，现有方法大都使用带有标签的数据作为训练数据，而在视频中对人体关键点进行逐帧标注无疑是一件耗时费力的事情。视频人体姿态估计主要的应用领域包括虚拟现实与增强现实、智能人机交互、智能视频监控、游戏动画与制作、体育运动视频分析、辅助临床诊断、基于内容的视频索引与检索等，具有极为广泛的应用前景。

该问题最早的解决方案由Rohit Girdhar等人提出，将该问题分成两个阶段的问题，首先估计视频里每一帧的关键点，之后再利用时序平滑的后处理方式来进一步使姿态估计结果更精确。之后有一部分学者Tomas Pfister等人受到视频分析领域方法的启发，开始使用结合光流信息的卷积神经网络来传递姿态时序信息，主要利用视频起始部分帧和高置信度的姿态估计帧的光流信息来估计其他视频帧。然而估计的光流信息并不区分视频帧的前景和背景信息，因此会限制该类方法的性能和准确度。

另一些学者Georgia Gkioxari等人考虑使用基于循环神经网络RNN的时序序列建模方法，在RNN的基础上，提出采用几何一致性约束来解决视频帧中出现的图像降质问题，并受RNN思想的启发，提出使用时序卷积网络TCN来建模视频帧间的时序关系，取得了一定的成效。但该过程仍然需要大量人工标注过的视频帧来用于监督训练，因此会较大程度限制其在实际生活中的应用。

中国专利文献CN104715493A公开了一种运动人体姿态估计的方法，采用中值滤波的方法对深度图像数据进行预处理操作，并提出基于测地距离的迪杰斯特拉算法对人体像素进行部位标定，最终使用基于K-均值聚类算法的区域特征点提取算法来定位人体骨架点，但该方案由于使用传统算法，对人体的自遮挡，运动模糊等难点问题不具备较好的泛化性。

发明内容

本发明提出一种基于强化学习的视频序列二维姿态估计方法，用于解决或者至少部分解决现有技术的方法中姿态估计不够准确的技术问题。

为了解决上述技术问题，本发明提供了一种基于强化学习的视频序列二维姿态估计方法，包括：