[发明专利]一种基于单目视频的人体关节自动标注方法

说明书

技术领域

本发明属于计算机视觉领域，涉及运动捕捉中的一种自动初始化方法，可用于人体的姿态估计和动作识别。 

背景技术

基于视觉的无标记运动捕捉技术的研究始于20世纪80年代。无标记的运动捕捉技术融合了计算机视觉、计算机图形学、图像处理、人体运动学和人工智能等学科的研究内容，是多学科交叉的一个热门领域，极具挑战性。人体运动捕捉技术具有很强的实用价值，可以广泛应用于各个领域，主要有智能监控系统、新型人机交互、医学诊断分析、电影和动画制作、游戏制作、虚拟现实、基于内容的视频序列索引和检索、运动员辅助训练等。例如，在当前的人机交互系统中，交互方式是非自然的，人需要适应不同机器的不同操作方式。当前使用较多的交互方式主要为键盘、鼠标、触屏等。而随着技术的进步，人们提出了更高的需求，那就是通过人的自然表达，包括语音、动作、表情等，就能与机器进行交流。如果人的这些表达方式能够被机器所理解，那人机交互将会变得更加自然、更加符合人与人之间的交流模式。 

由于运动捕捉的重要应用价值吸引着越来越多研究人员的目光。一些商家已经开始推出商用的运动捕捉系统。目前市场上比较成熟的运动捕捉系统主要有机械电动式、电磁式、声学式和光学式四类接触式运动捕捉系统。但这几种运动捕捉系统要使用价格昂贵、专门的信号发生设备，并且被捕捉对象身上佩戴的特殊的标记会干扰到被捕捉对象的行动，从而影响运动分析的价值，同时对应用场合也有很多的限制。如果能够找到一种解决方案可以克服上 述缺点，则会使这项技术产生广阔的应用前景，如自动智能监控、新型人机交互等。基于以上原因，人们将目光逐渐投向低成本、非接触式的无标记运动捕捉技术。 

从国内外的研究情况来看，运动捕捉技术具有强大的生命力和广阔的应用前景。目前商用的接触式运动捕获系统已被开发出来，在动画电影制作方面取得了一定成果。与商业化的接触式运动捕捉系统相比，基于无标记的运动捕捉领域的研究仍然处于发展初级阶段，在实时性、准确性和鲁棒性方面还不尽如人意。目前，基于视觉的运动捕捉系统中很多方法还处于实验阶段。虽然目前对于运动捕捉的研究存在诸多的难题，但广阔的应用场景与深远的研究意义正不断激励着研究人员进行更为深入的研究。相信这项技术的突破性进展会对人的生活方式产生革命性的影响。 

Aggarwal和Cai将运动捕捉分为身体结构分析、跟踪和识别三个阶段。其中身体结构分析分为基于模型和无模型的方法，跟踪阶段按照使用摄像机的数量划分为单摄像机和多摄像机的方法(单目和多目)，识别阶段则分为基于状态空间和基于模板匹配的方法。基于模型的方法使用先验人体模型作为输入，将姿态估计的阶段分为建模和估算阶段。建模阶段相当于一个创建似然函数的初始化过程，包括人体模型重建、摄像机参数求解、图像特征提取和基于人体生理结构进行的关节运动限制。估算阶段是搜索人体运动姿态的解空间，以寻找使似然函数和目标图像匹配误差最小的解。 

由于目前大多数方法的初始化过程采用人工手动标注关节点，严重影响了系统的实用性要求，故而需要一种自动标注方法来提高系统实用性。这种方法还要具有较高的准确性以及对不同捕捉对象的适应性。 

发明内容

本发明解决的关键问题是人体各部分分割和人体骨架重建。由于不同人的形体大小、衣着以及动作的具体幅度与方式都存在很大差异，能够进行有效的人体各肢体部分分割和人体 骨架模型重建就具有很大的难度，同时也具有很大的价值。如果能够进行准确有效的人体各部分分割，就能够比较容易的获得各个肢体部分的姿态信息，将对下一步人体特征向量的获取与处理工作提供有利条件。而人体骨架重建则面临状态空间过大，数据处理困难的问题。本发明建立了比较简单的人体骨架模型，在不丢失有效信息的情况下，可以尽量减少运算的复杂度。 

为达到上述目的，本发明按以下步骤实现： 

1.前景检测：使用摄像机获取人体运动视频，进行防抖去噪处理。通过背景建模，获取前景区域。为减少后续步骤的运算量，将原彩色图像帧中的前景区域作为感兴趣区域进行保存，在后续的处理步骤中就可以只对此感兴趣区域进行处理，从而提高系统的运算速度； 

2.人体区域确定与分割： 

(1)人体剪影获取：对步骤1中的前景图像进行二值化处理，并使用形态学方法来获取更为完整的剪影图像。计算剪影的面积，去除小的噪点及干扰目标；