[发明专利]虚拟现实场景数据集的分类方法、系统、设备及介质

权利要求书

1.一种虚拟现实场景数据集的分类方法，其特征在于，所述方法包括：

建立带有情绪标签的虚拟现实场景，得到场景数据集，并根据场景数据集，得到正向图像、中立图像和负向图像，其中，中立图像和负向图像构成训练集；

在单分类网络中加入通道注意力模块和双分支上采样模块，得到新的单分类网络；

利用训练集训练新的单分类网络，得到训练好的单分类网络；

利用训练集训练二分类网络，得到训练好的二分类网络；

将训练好的单分类网络和二分类网络组合起来，构建联合分类网络；

将带有情绪标签的图像输入联合分类网络，得到细致的图像分类标签；

所述单分类网络采用Ganomaly框架，Ganomaly框架包括生成器、判别器和重构编码器，其中：

所述生成器包括编码器和解码器，原始图像经过编码器得到潜在向量，经过解码器得到原始图像的重构图像；

所述判别器对原始图像判为真，重构图像判为假，不断优化重构图像与原始图像的差距；

所述重构编码器对重构图像进行编码，得到重构图像的潜在向量；

所述通道注意力模块放在生成器的编码器、判别器的编码器以及重构编码器前面，具体包括：

顺着空间维度进行特征压缩，将每个二维的特征通道变成一个实数，如下所示：

其中，z_C为第C个通道压缩后的值，H和W分别代表特征图的高度和宽度，u_c(i,j)为第C个通道上像素点为(i，j)的像素；

通过参数W为每个特征通道生成权重，如下所示：

s_c＝F_ex(z_c,W)＝σ(g(z_c,W))＝σ(W₂ReLU(W₁z_c))

其中，s_c为第C个特征通道的权重，W₁和W₂均为参数；

将每个特征通道的权重，通过乘法逐通道加权，得到新的带权重的特征图，完成在通道维度上对原始特征的重标定。

2.根据权利要求1项所述的分类方法，其特征在于，所述建立带有情绪标签的虚拟现实场景，得到场景数据集，并根据场景数据集，得到正向图像、中立图像和负向图像，具体包括：

建立带有情绪标签的虚拟现实场景，把场景导出成视频；

对每个视频的主观感受进行人工打分，根据打分的分数将每个视频划分到正向场景、中立场景和负向场景中，将正向场景、中立场景和负向场景构成场景数据集；

对每个视频的关键帧进行切平面投影，分别得到正向图像、中立图像和负向图像。

3.根据权利要求2所述的分类方法，其特征在于，所述对每个视频的主观感受进行人工打分，根据打分的分数将每个视频划分到正向场景、中立场景和负向场景中，具体为：

对每个视频在愉悦度、唤醒度和优势度上进行打分，每一个视频得到三个维度的分数，根据这三个维度的分数将每一个视频划分到正向场景、中立场景或负向场景中。

4.根据权利要求2所述的分类方法，其特征在于，所述对每个视频的关键帧进行切平面投影，分别得到正向图像、中立图像和负向图像，具体为：

对每个视频的关键帧进行切平面投影，得到球形图像在多个视角的平面图像，即正向场景中获得的图像为正向图像，中立场景中获得的图像为中立图像，负向场景中获得的图像为负向图像；

所述利用训练集训练新的单分类网络，具体为：获取训练集中的一张图像，所述图像包括多个视角的平面图像；将所述图像在通道维度上拼接后，输入新的单分类网络，对新的单分类网络进行训练。

5.根据权利要求1所述的分类方法，其特征在于，所述双分支上采样模块放在生成器的解码器中，具体包括：

对给定特征图采用两种上采样变换，分别得到第一特征图和第二特征图；

将第一特征图和第二特征图通过逐像素相加，获得第三特征图；第三特征图通过全局平均池化生成逐通道的统计信息；通过全连接层对统计信息进行降维，再用全连接层升维，最后按通道维度进行归一化，获得第四特征图。