[发明专利]基于视角权重和特征融合的虚拟现实场景情感识别方法

权利要求书

1.一种基于视角权重和特征融合的虚拟现实场景情感识别方法，其特征在于，包括：

S1、对待识别虚拟现实场景进行预处理；

S2、使用已训练好的卷积神经网络提取待识别虚拟现实场景的深度情感特征，对深度情感特征赋予视角权重后，得到加权深度情感特征；

所述卷积神经网络的训练包括：

S21、获取虚拟现实场景，并通过实验建立包含连续情感标签和视角权重标签的虚拟现实场景素材库；

S22、将素材库里的虚拟现实场景按照情感划分规则进行分类、降维采样，获得连续全景图像视频帧，建立虚拟现实场景图像数据集，并对数据集进行预处理；

S23、运用增加通道注意力机制的卷积神经网络的提取数据集的深度情感特征，对深度情感特征赋予视角权重后，得到加权深度情感特征；

S24、提取数据集中关联情感的手工情感特征，手工情感特征包含颜色特征、纹理特征和形状特征；

S25、将加权深度情感特征和手工情感特征依次进行归一化、特征融合；

S26、将融合后的特征输入分类器进行情感分类，分类器输出虚拟现实场景情感识别结果；

步骤S21中，所述建立包含连续情感标签和视角权重标签的虚拟现实场景素材库的步骤包括：

S211、使用引擎搭建或在网络搜集包含不同情感内容的虚拟现实场景，判断虚拟现实场景是否满足所需的时长要求；将不满足的虚拟现实场景分至不合格类别，筛出素材库；则对满足的虚拟现实场景执行步骤S212；

S212、N名受试者面向虚拟现实场景进行SAM情感评估实验，获取虚拟现实场景在愉悦度、唤醒度、支配度三个维度上的情感评分；分值范围为1至9分，计算每名受试者三个维度的平均值和方差值，将三个维度的平均值作为场景的连续情感标签；通过三个维度的方差值判断场景是否标准化，若方差大于等于3，将对应的虚拟现实场景筛出素材库；若方差小于3，则对对应的虚拟现实场景执行步骤S213；

S213、M名受试者面向对虚拟现实场景进行视角权重分析实验，获取场景内各视角对虚拟现实场景情感的贡献权重值，得到场景的视角权重标签；

步骤S213中，所述视角权重分析实验包括如下步骤：

S2131、参考等角度立方体贴图格式将虚拟现实场景素材展开，在展开图上对各个视角分别进行定义；

S2132、实验过程中采集受试者观看场景时关于视线的视频；

S2133、依据定义的视角区域，以1帧/秒的采样频率下采样采集的视频内容，通过统计分析视线在各视角区域的频次，计算出场景的视角权重；

S3、提取待识别虚拟现实场景中关联情感的手工情感特征，手工情感特征包含颜色特征、纹理特征和形状特征；

S4、将加权深度情感特征和手工情感特征依次进行归一化、特征融合；

S5、将融合后的特征输入分类器进行情感分类，分类器输出待识别虚拟现实场景的情感识别结果。

2.根据权利要求1所述的基于视角权重和特征融合的虚拟现实场景情感识别方法，其特征在于，N＞60；M＞25。

3.根据权利要求1所述的基于视角权重和特征融合的虚拟现实场景情感识别方法，其特征在于，步骤S22 的将素材库里的虚拟现实场景按照情感划分规则进行分类包括：通过和预设愉悦度阈值、预设唤醒度阈值进行比较，将虚拟现实场景在二维空间上进行划分分类；并将场景的情感标签从连续情感标签转换为离散情感标签。

4.根据权利要求1所述的基于视角权重和特征融合的虚拟现实场景情感识别方法，其特征在于，步骤S22中的预处理包括尺寸归一化和颜色空间转换。

5.根据权利要求1所述的基于视角权重和特征融合的虚拟现实场景情感识别方法，其特征在于，步骤S23中，卷积神经网络包含一个通道注意力模块和五段串行的卷积，通道注意力模块加在卷积后；其中，每段卷积包含K个卷积层和一个池化层，K≥2；

步骤S22和S23之间还包括：将数据集划分为训练集和验证集，训练集，用于训练卷积神经网络，验证集，用于评价训练后的卷积神经网络，训练集和验证集的比例为8:2。