[发明专利]基于VR的远程教育系统及方法

权利要求书

1.一种基于VR的远程教育系统，其特征在于，包括教学子系统、学生子系统以及云端服务器；教学子系统和学生子系统分别与云端服务器无线连接；

教学子系统包括教学端和VR穿戴设备；学生子系统包括学生端和VR穿戴设备；

所述云端服务器，用于预存储班级信息，所述班级信息包括班级中每个学生的学生信息和学生端ID，所述学生信息包括学生身份ID和座位号；以及

依据教学端选定的班级信息，获取学生端对应的三维人体模型，并将所述三维人体模型依据对应的座位号安插至预先创建和编排好的三维课桌区域中相应的位置，得到学生区域；以及

依据教学端选定的VR课件将所述VR课件渲染至所述学生区域的正前方位置；以及

创建教学端对应的三维人体模型，并将其放置于所述学生区域与所述VR课件之间；以及

定义所有学生端的VR穿戴设备中的显示屏以用户位于所述学生区域中心坐标点时的视线为基准视线；以及

定义教学端的VR穿戴设备中显示屏的视线为所述教学端对应的三维人体模型的视线；

所述教学端以及所述学生端均包括3D更新单元；

所述3D更新单元，用于通过VR穿戴设备实时获取用户的动态信息，并将所述动态信息融合至对应的三维人体模型中。

2.如权利要求1所述的一种基于VR的远程教育系统，其特征在于，所述学生端和所述教学端的VR穿戴设备均配备有VR手柄；

所述教学端，还用于通过其VR手柄控制所述VR课件以及控制对应三维人体模型的走位；

所述学生端，还用于通过其VR手柄与教学端进行互动。

3.如权利要求1所述的一种基于VR的远程教育系统，其特征在于，所述教学端，还用于登录云端服务器；以及

在云端服务器创建一空白课件；以及

通过从VR素材库选取目标素材和/或从本地载入目标素材布设在所述空白课件上，以及对所述目标素材进行自定义编辑，获取目标课件；

所述云端服务器，还用于对所述目标课件中的各个目标素材进行虚拟现实处理，生成VR课件。

4.如权利要求1所述的一种基于VR的远程教育系统，其特征在于，所述3D更新单元包括依序连接的获取模块、预先训练好的联合卷积神经网络框架以及更新模块；

所述获取模块，用于通过VR穿戴设备的摄像头实时获取用户的头部图像，并将所述头部图像输入到所述联合卷积神经网络框架中；

所述联合卷积神经网络框架，用于依据输入的头部图像，预测对应的3D头部模型属性向量并添加反照率增量后，再经可微分光线追踪处理获取3D头部图像；

更新模块，用于依据所述3D头部图像更新对应的三维人体模型。

5.如权利要求4所述的一种基于VR的远程教育系统，其特征在于，所述联合卷积神经网络框架包括一个残差网络、全连接层、第一卷积神经网络、第二卷积神经网络、增量更新模块以及一个可微分光线追踪器；所述残差网络分别与所述全连接层、所述第一卷积神经网络以及第二卷积神经网络连接，所述全连接层分别与所述增量更新模块的输入端以及可微分光线追踪器连接，所述增量更新模块的输入端还分别与所述第一卷积神经网络和第二卷积神经网络连接，所述增量更新模块的输出端与所述可微分光线追踪器连接；

所述残差网络以及所述全连接层，用于获取3D头部模型属性向量，所述3D头部模型属性向量包括3D头部模型的形状、脸部表情、光线、拍摄角度以及反照率先验；

所述第一卷积神经网络，用于获取漫反射增量；

所述第二卷积神经网络，用于获取镜面反射增量；

增量更新模块，用于依据所述漫反射增量和所述镜面反射增量对所述反照率先验中的漫反射和镜面反射进行更新，得到漫反射纹理和镜面反射纹理；以及用于以所述漫反射纹理和所述镜面反射纹理替代所述3D头部模型属性向量中的反照率先验；

所述可微分光线追踪器，用于依据增量更新模块输出的新的3D头部模型属性向量生成对应的3D头部图像。