[发明专利]用于生成信息的方法和装置

说明书

本公开的实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：从目标人脸视频中提取目标视频帧和目标视频帧的基准视频帧，其中，基准视频帧与目标视频帧相邻；确定基准视频帧所对应的人脸关键点信息，以及基于所确定的人脸关键点信息和预设图像，生成基准视频帧所对应的热点图，其中，热点图的图像区域包括数值集合，对于数值集合中的数值，该数值用于表征人脸关键点位于该数值所在位置的概率；将目标视频帧、基准视频帧和所生成的热点图输入预先训练的第一识别模型，获得目标视频帧所对应的人脸关键点信息。该实施方式有助于减小人脸关键点在连续的视频帧间的抖动，提高人脸关键点定位的稳定性。

技术领域

本公开的实施例涉及计算机技术领域，尤其涉及用于生成信息的方法和装置。

背景技术

随着手机视频软件的普及，各种视频处理算法也得到了广泛的应用。视频人脸关键点跟踪作为视频的基础处理功能之一，也得到了广泛的应用。

现有的视频人脸关键点跟踪一般基于图像人脸关键点检测的方法实现，即基于每帧的人脸图像得到相对应的人脸关键点。

发明内容

本公开的实施例提出了用于生成信息的方法和装置。

第一方面，本公开实施例提供了一种用于生成信息的方法，该方法包括：从目标人脸视频中提取目标视频帧和目标视频帧的基准视频帧，其中，基准视频帧与目标视频帧相邻；确定基准视频帧所对应的人脸关键点信息，以及基于所确定的人脸关键点信息和预设图像，生成基准视频帧所对应的热点图，其中，预设图像与基准视频帧的形状大小分别相同，热点图的图像区域包括数值集合，对于数值集合中的数值，该数值用于表征人脸关键点位于该数值所在位置的概率；将目标视频帧、基准视频帧和所生成的热点图输入预先训练的第一识别模型，获得目标视频帧所对应的人脸关键点信息。

在一些实施例中，确定基准视频帧所对应的人脸关键点信息，包括：将基准视频帧输入预先训练的第二识别模型，获得基准视频帧所对应的人脸关键点信息。

在一些实施例中，第二识别模型通过如下步骤训练得到：获取训练样本集，其中，训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息；利用机器学习方法，将训练样本集中的训练样本的样本人脸图像作为输入，将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出，训练得到第二识别模型。

在一些实施例中，第一识别模型通过以下步骤训练获得：获取多个样本视频帧组，其中，样本视频帧组包括从样本人脸视频中提取出的、相邻的两个视频帧；对于多个样本视频帧组中的样本视频帧组，执行以下步骤：从该样本视频帧组中确定样本目标视频帧和样本基准视频帧；确定该样本视频帧组中的样本基准视频帧所对应的人脸关键点信息，以及确定该样本视频帧组中的样本目标视频帧所对应的人脸关键点信息作为样本人脸关键点信息；基于样本基准视频帧所对应的人脸关键点信息和预设图像，生成样本热点图；利用该样本视频帧组、所生成的样本热点图和样本目标视频帧的样本人脸关键点信息，组成训练样本；利用机器学习方法，将所组成的训练样本中的训练样本包括的样本视频帧组和样本热点图作为输入，将所输入的样本视频帧组和样本热点图所对应的、样本目标视频帧的样本人脸关键点信息作为期望输出，训练得到第一识别模型。

在一些实施例中，确定该样本视频帧组中的样本目标视频帧所对应的人脸关键点信息作为样本人脸关键点信息，包括：确定该样本视频帧组中的样本目标视频帧所对应的初始人脸关键点信息；基于预先为样本基准视频帧的人脸关键点信息和样本目标视频帧的初始人脸关键点信息分别分配的权重，对所确定的、样本基准视频帧的人脸关键点信息和所确定的、样本目标视频帧的初始人脸关键点信息进行加权求和处理，获得处理结果作为该样本视频帧组中的样本目标视频帧的样本人脸关键点信息。

在一些实施例中，基于所确定的人脸关键点信息和预设图像，生成基准视频帧所对应的热点图，包括：利用高斯函数在预设图像上生成基准视频帧的人脸关键点信息所对应的数值集合；基于包括所生成的数值集合的预设图像，生成基准视频帧所对应的热点图。