[发明专利]一种视频中的人体运动编辑方法

说明书

技术领域

本发明涉及一种视频中的人体运动编辑方法，属于计算机图像视频处理研究领域，具体地说是一种支持用户对视频中的人体运动进行编辑的方法。

背景技术

图像编辑技术在实际生活中已有广泛应用，如采用Photoshop等编辑工具对图像能实现诸如色调调整、结构调整、图像修复、图像去噪、图像变形等多种编辑操作。但目前已有的针对视频的编辑工具如Adobe的Effects和Apple的Shake等仅能实现抠图和前景提取等基本操作。要实现对视频内容的编辑，如视频中的人物外观和运动的编辑等仍然是项极具挑战的任务。然而，视频编辑在广告设计、电影后期制作等领域有重要应用，潜在应用价值使得视频编辑成为计算机图像视频处理研究领域的重要课题之一。

目前，视频编辑的已有研究主要集中在基本运动编辑、运动特效处理、特定对象编辑等三个方面。如文献1：SCHOLZ，V.，EL-ABED，S.，SEIDEL，H.-P.，AND MAGNOR，M.A.Editing object behavior in video sequences.CGF，2009.28(6)：1632-1643实现了一些基本的视频编辑方法，如移除和添加物体、物体的运动编辑、非刚性物体形变、关键帧插值以及摄像机运动的处理等，然后该类操作只能实现视频的基本编辑，无法满足诸如编辑人体的外观和姿态的要求；文献2：WANG，J.，DRUCKER，S.M.，AGRAWALA，M.，AND COHEN，M.F The cartoon animation filter.ACM TOG，2006，25(3)：1169-1173.提出了一种动画滤波方法，该方法能使动画中的人体运动变得更夸张和动感，但该方法仅是通过形变方法改变图像中人体的外观，难以实现对姿态的精确控制；文献3：LEYVAND，T.，COHEN-OR，D.，DROR，G.，AND LISCHINSKI，D.Data-driven enhancement of facial attractiveness.ACM TOG，2008，27(3)：1-9从人脸图像训练集中学习出一个二维形变函数，能对输入图像中的人脸进行形变以增加表情的吸引力，但该方法仅能处理人脸图像，无法拓展到诸如人体编辑中。另外，近年来还出现了对图像和视频中人体外观编辑的研究，如文献4：ZHOU，S.，FU，H.，LIU，L.，COHEN-OR，D.，AND HAN，X.Parametric reshaping of human bodies in images.ACM TOG，2010，29(4)：1-10引入参数化三维人体模型，通过调整人体的外观属性实现了对人体外观的直接编辑；文献5：ARJUN Jain，Thorsten Thorm¨ahlen，Hans-Peter Seidel and Christian Theobalt.MovieReshape：Tracking and Reshaping of Humans in Videos.ACM TOG，2010，29(5)将文献4的工作扩展到视频，实现了对视频中人体外观的编辑，但该方法不能编辑人体的姿态。

概括起来，当前视频编辑方法研究主要集中在基本运动编辑、运动特效处理、特定对象编辑等，针对人体的编辑也仅限于人体外观的编辑，针对视频中人体姿态以及运动的编辑的研究尚未可见。这主要是因为视频人体运动编辑是项极具挑战的任务，包括以下原因：首先，保持视频帧间的人体骨架和外观的一致性是视频人体运动编辑的首要难题；其次，如何提供有效的用户接口是研究面临的重要难题。然而，视频人体运动编辑在广告设计和电影制作领域有着重要应用，人体姿态和运动编辑技术能够支持艺术家采用更加自由的艺术方式通过电影编辑去描述故事情节。重要的学术价值和应用前景使得视频人体姿态编辑成为本发明的研究内容。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提出了一种视频中的人体运动编辑方法。

技术方案：本发明公开了一种视频中的人体运动编辑方法，包括以下步骤：

步骤一，人体姿态分析：采用基于免疫进化的层次化姿态优化方法，计算输入视频中每一帧图像的人体姿态，得到人体运动的姿态数据；

步骤二，姿态数据编辑：采用草绘交互方式编辑步骤一得到的人体运动的姿态数据，生成新的人体运动的姿态数据；

步骤三，图像形变：以步骤二中新的人体运动的姿态数据作为控制条件，采用模型驱动的移动最小二乘图像形变方法对输入视频中每一帧图像进行形变，生成包含新的人体运动的视频。