[发明专利]基于视角权重和特征融合的虚拟现实场景情感识别方法

说明书

本发明公开了一种基于视角权重和特征融合的虚拟现实场景情感识别方法，包括：对待识别虚拟现实场景进行预处理；使用已训练好的卷积神经网络提取待识别虚拟现实场景的深度情感特征，对深度情感特征赋予视角权重后，得到加权深度情感特征；提取待识别虚拟现实场景中关联情感的手工情感特征，手工情感特征包含颜色特征、纹理特征和形状特征；将加权深度情感特征和手工情感特征依次进行归一化、特征融合；将融合后的特征输入分类器进行情感分类，分类器输出待识别虚拟现实场景的情感识别结果。本发明方法针对虚拟现实场景视觉显示特点，加入各视角区域对情感的贡献度，同时融合关联情感的多个手工特征，提升虚拟现实场景情感识别的准确率。

技术领域

本发明涉及虚拟现实技术领域和情感识别技术领域，具体涉及一种基于视角权重和特征融合的虚拟现实场景情感识别方法。

背景技术

随着虚拟现实技术的发展，虚拟现实内容在教育、医疗、多媒体数字娱乐等领域的应用受到了广泛关注，并逐步融入人们的日常生活当中。现在人们可以使用外接式头显、一体机甚至是手机盒子快速的连接虚拟现实技术，身临其境地感受虚拟现实内容。基于此，虚拟现实场景内容在各视频网站中逐渐丰富起来。虚拟现实场景中包含了视觉、听觉等多种交互信息，并且其中包含了大量的情感。通过分析虚拟现实场景内容与情感的关联，能对用户的使用体验进一步优化，是重要的研究方向之一。

对比传统的多媒体载体，虚拟现实场景具有突出的沉浸感、真实度和交互性这几大特点。虚拟现实技术为用户提供了身临其境的媒体体验，特别体现在视觉部分与传统媒介有很大的差异。虚拟现实渲染的视觉内容需要经过反畸变、合成、位置预测等过程，才能贴上屏幕。360度的全景内容现实在头戴式显示器下，用户通过移动头部来观看内容，过程更加自由，更具有交互性。但这种新的内容格式给多媒体处理和用户体验质量评估带来了新的挑战。基于虚拟现实场景视觉内容的特点建立其与情感间的关联，也是研究亟待突破的地方。

目前在情感识别领域中，存在两种识别方式：一种是面向受试者监测采集生理信号，例如脑电、心律和肌电等。另一种是面向诱发素材，研究主要集中于图像、音频、视频等格式。在以往的研究中，基本没有适用于虚拟现实场景下的情感识别模型框架。因此，如何根据虚拟现实场景的特点建立有效的情感识别模型，是亟需行业内探索和思考的问题。

发明内容

为解决现有虚拟现实场景缺少情感识别模型框架的问题，从虚拟现实场景拟现实场景视觉内容出发，本发明提出一种基于视角权重和特征融合的虚拟现实场景情感识别方法。

本发明的目的通过以下的技术方案来实现：

基于视角权重和特征融合的虚拟现实场景情感识别方法，包括：

S1、对待识别虚拟现实场景进行预处理；

S2、使用已训练好的卷积神经网络提取待识别虚拟现实场景的深度情感特征，对深度情感特征赋予视角权重后，得到加权深度情感特征；

S3、提取待识别虚拟现实场景中关联情感的手工情感特征，手工情感特征包含颜色特征、纹理特征和形状特征；

S4、将加权深度情感特征和手工情感特征依次进行归一化、特征融合；

S5、将融合后的特征输入分类器进行情感分类，分类器输出待识别虚拟现实场景的情感识别结果。

优选地，卷积神经网络的训练包括：

S21、获取虚拟现实场景，并通过实验建立包含连续情感标签和视角权重标签的虚拟现实场景素材库；

S22、将素材库里的虚拟现实场景按照情感划分规则进行分类、降维采样，获得连续全景图像视频帧，建立虚拟现实场景图像数据集，并对数据集进行预处理；

S23、运用增加通道注意力机制的卷积神经网络的提取数据集的深度情感特征，对深度情感特征赋予视角权重后，得到加权深度情感特征；