[发明专利]增强现实方法和装置

说明书

本发明公开了一种增强现实方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：采集目标的视频信息，从中获取目标的真实图像信息及真实声音信息；使用真实图像信息确定基于图像的至少一种目标状态数据，使用真实声音信息确定基于声音的至少一种目标状态数据；将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将虚拟信息叠加到目标的视频信息中进行展示。该实施方式能够分别根据目标的图像信息与声音信息识别其当前状态，并将两方面的识别结果融合得到准确的目标画像，基于该目标画像即可进行匹配于用户状态的虚拟信息展示，从而提升增强现实效果与用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种增强现实方法和装置。

背景技术

增强现实是一种实时计算影像的位置及角度，以增加相应图像、视频、三维模型的技术，其能够将真实世界中难以体验的虚拟信息应用在真实世界，从而产生超越现实的效果。

实际应用中，增强现实技术被广泛应用于网络直播等环境，用于将各种虚拟信息与用户图像进行叠加，以丰富图像内容，增加交互趣味性。图1示出了增强现实技术在网络直播中的几个应用实例。在图1中，用户图像上叠加的虚拟图像依次是：兔耳朵、眼镜、花环、发卡及星星。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

1.在现有技术中，难以实现准确的用户画像，因此用于叠加展示的虚拟信息往往与用户当前状态不相匹配，导致用户体验度较低。

2.在现有的增强现实技术中，无法根据用户的情绪、年龄及性别展示适合的虚拟信息。例如，当用户为心情愉悦的年轻女性时，虚拟信息为花环图像及笑脸贴纸；当用户改变为情绪低落的年长男性，虚拟信息仍为花环图像及笑脸贴纸，这严重影响了增强现实效果。

发明内容

有鉴于此，本发明实施例提供一种增强现实方法和装置，能够分别根据目标的图像信息与声音信息识别其当前状态，并将两方面的识别结果融合得到准确的目标画像，基于该目标画像即可进行匹配于用户状态的虚拟信息展示，从而提升增强现实效果与用户体验。

为实现上述目的，根据本发明的一个方面，提供了一种增强现实方法。

本发明实施例的增强现实方法包括：采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述真实图像信息确定基于图像的至少一种目标状态数据，使用所述真实声音信息确定基于声音的至少一种目标状态数据；将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将所述虚拟信息叠加到所述视频信息中进行展示。

可选地，所述目标状态数据包括以下至少一种：情绪数据、年龄数据以及性别数据；任一种目标状态数据中的任一组均包括：目标状态的判断结果、以及与该判断结果对应的置信度。

可选地，所述真实图像信息包括：目标的面部图像信息；以及，所述使用所述真实图像信息确定基于图像的至少一种目标状态数据包括：从所述面部图像信息中确定多个关键点的位置信息，利用所述位置信息对所述面部图像信息进行倾斜校正；在经过校正的面部图像信息中提取多个面部特征值输入预先建立的图像分类模型，得到基于图像的至少一种目标状态数据。

可选地，所述使用所述真实声音信息确定基于声音的至少一种目标状态数据包括：提取所述真实声音信息中的多个音频特征参数，并对所述音频特征参数进行聚类；将聚类后的音频特征参数输入预先建立的声音分类模型，得到基于声音的至少一种目标状态数据。