[发明专利]增强现实方法和装置

权利要求书

1.一种增强现实方法，其特征在于，包括：

采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述真实图像信息确定基于图像的至少一种目标状态数据，使用所述真实声音信息确定基于声音的至少一种目标状态数据；所述目标状态数据包括：情绪数据、年龄数据以及性别数据；任一种目标状态数据中的任一组均包括：目标状态的判断结果、以及与该判断结果对应的置信度；

将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将所述虚拟信息叠加到所述视频信息中进行展示；

所述将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据包括：

对于基于图像与基于声音的任意两组同种目标状态数据：第一状态数据与第二状态数据；其中，第一状态数据为基于图像的、包括第一判断结果以及第一置信度的目标状态数据，第二状态数据为基于声音的、包括第二判断结果以及第二置信度的目标状态数据；

比较第一判断结果与第二判断结果是否相同：

在比较结果为相同时，检测第一置信度与第二置信度之和是否大于第一置信阈值：若是，将第一判断结果或第二判断结果确定为目标画像数据；

在比较结果为不同时，检测第一置信度与第二置信度中的较大者是否大于第二置信阈值：若是，将所述较大者对应的判断结果确定为目标画像数据；第二置信阈值大于第一置信阈值。

2.根据权利要求1所述的方法，其特征在于，所述真实图像信息包括：目标的面部图像信息；以及，所述使用所述真实图像信息确定基于图像的至少一种目标状态数据包括：

从所述面部图像信息中确定多个关键点的位置信息，利用所述位置信息对所述面部图像信息进行倾斜校正；

在经过校正的面部图像信息中提取多个面部特征值输入预先建立的图像分类模型，得到基于图像的至少一种目标状态数据。

3.根据权利要求1所述的方法，其特征在于，所述使用所述真实声音信息确定基于声音的至少一种目标状态数据包括：

提取所述真实声音信息中的多个音频特征参数，并对所述音频特征参数进行聚类；

将聚类后的音频特征参数输入预先建立的声音分类模型，得到基于声音的至少一种目标状态数据。

4.根据权利要求1-3任一所述的方法，其特征在于，所述虚拟信息包括以下至少一种：视觉信息、听觉信息以及特定效果信息。

5.一种增强现实装置，其特征在于，包括：

目标识别单元，用于采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述真实图像信息确定基于图像的至少一种目标状态数据，使用所述真实声音信息确定基于声音的至少一种目标状态数据；所述目标状态数据包括：情绪数据、年龄数据以及性别数据；任一种目标状态数据中的任一组均包括：目标状态的判断结果、以及与该判断结果对应的置信度；

融合展示单元，用于将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将所述虚拟信息叠加到所述视频信息中进行展示；

所述融合展示单元进一步用于：对于基于图像与基于声音的任意两组同种目标状态数据：第一状态数据与第二状态数据；其中，第一状态数据为基于图像的、包括第一判断结果以及第一置信度的目标状态数据，第二状态数据为基于声音的、包括第二判断结果以及第二置信度的目标状态数据；比较第一判断结果与第二判断结果是否相同：在比较结果为相同时，检测第一置信度与第二置信度之和是否大于第一置信阈值：若是，将第一判断结果或第二判断结果确定为目标画像数据；在比较结果为不同时，检测第一置信度与第二置信度中的较大者是否大于第二置信阈值：若是，将所述较大者对应的判断结果确定为目标画像数据；第二置信阈值大于第一置信阈值。

6.根据权利要求5所述的装置，其特征在于，所述真实图像信息包括：目标的面部图像信息；以及，所述目标识别单元进一步用于：

从所述面部图像信息中确定多个关键点的位置信息，利用所述位置信息对所述面部图像信息进行倾斜校正；在经过校正的面部图像信息中提取多个面部特征值输入预先建立的图像分类模型，得到基于图像的至少一种目标状态数据。