[发明专利]视频处理方法、视频处理装置和存储介质

说明书

一种视频处理方法、视频处理装置和存储介质。该视频的画面包括地标建筑和活动主体，该视频处理方法包括：识别并跟踪视频中的地标建筑；提取并跟踪视频中的活动主体的关键点，并根据提取的活动主体的关键点的信息确定活动主体的姿态；将活动主体的关键点与地标建筑对应，并根据活动主体的关键点的动作驱动地标建筑执行相应的动作，以使得视频的画面中地标建筑的姿态与活动主体的姿态对应。该视频处理方法可以增强用户与拍摄地标之间的交互，增加拍摄的趣味性，让用户获得与众不同的拍摄体验，促使用户更加主动地去拍摄和记录。

技术领域

本公开的实施例涉及一种视频处理方法、视频处理装置和存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段。AR技术将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，虚拟信息与真实世界的信息互为补充，从而实现对真实世界的“增强”。

短视频具有社交属性强、易创作、时长短等特点，更符合移动互联网时代用户的碎片化内容消费习惯。AR技术独特的虚实融合特效，使其在短视频领域具有广泛的应用前景和无限的拓展空间。当前，地标AR特效是短视频领域的热点之一。地标AR特效可以增加拍摄的趣味性，促使用户更加主动地去拍摄和记录。

发明内容

现有的地标AR特效缺乏与用户之间的交互，大家看到的效果会是一样的，不够有趣，而且用户无法与建筑主动产生交互。针对上述问题，本公开至少一实施例提供一种视频处理方法、视频处理装置和存储介质，可以增强用户与拍摄的地标建筑之间的交互，增加拍摄的趣味性，让用户获得与众不同的拍摄体验，促使用户更加主动地去拍摄和记录，拓宽了产品的应用范围，提高了产品的市场竞争力。

本公开至少一实施例提供一种视频处理方法，所述视频的画面包括地标建筑和活动主体，所述方法包括：识别并跟踪所述视频中的地标建筑；提取并跟踪所述视频中的活动主体的关键点，并根据提取的所述活动主体的关键点的信息确定所述活动主体的姿态；将所述活动主体的关键点与所述地标建筑对应，并根据所述活动主体的关键点的动作驱动所述地标建筑执行相应的动作，以使得所述视频的画面中所述地标建筑的姿态与所述活动主体的姿态对应。

例如，在本公开至少一实施例提供的视频处理方法中，在根据所述活动主体的关键点的动作驱动所述地标建筑执行相应的动作之前，还包括：在所述视频的画面中抠除所述地标建筑；根据所述视频的画面中位于所述地标建筑周边的像素通过平滑插值算法补全已扣除的所述地标建筑处的背景；将所述地标建筑还原至补全所述背景后的位置处。

例如，在本公开至少一实施例提供的视频处理方法中，将所述活动主体的关键点与所述地标建筑对应，并根据所述活动主体的关键点的动作驱动所述地标建筑执行相应的动作，包括：将所述活动主体的关键点映射至所述地标建筑上，以将所述活动主体的关键点与所述地标建筑对应，使得所述地标建筑跟随所述活动主体的关键点的动作而执行相应的动作。

例如，在本公开至少一实施例提供的视频处理方法中，将所述活动主体的脊柱线映射至所述地标建筑的中轴线上。

例如，本公开至少一实施例提供的视频处理方法，还包括：通过预定义动画素材贴图的方式使得所述地标建筑拟人化，以使得所述地标建筑具有所述活动主体的特征。

例如，在本公开至少一实施例提供的视频处理方法中，通过神经网络模型提取所述视频画面中的活动主体的关键点。

例如，在本公开至少一实施例提供的视频处理方法中，识别所述视频的画面中的地标建筑，包括：提取所述地标建筑的特征点；将提取的所述地标建筑的特征点与建筑特征点分类模型作匹配，以识别所述地标建筑。