[发明专利]一种立体综合教学场系统的工作方法

权利要求书

1.一种立体综合教学场系统的工作方法，其特征在于该方法包括以下步骤：

（1）数据采集，使用深度TOF传感器采集真实教学场景的深度数据，生成整体深度图，构建表面网格模型，并按照语义特征划分对象，利用激光LiDAR采集教师点云数据，生成教师全身可视化模型，使用颈挂式耳麦采集教师授课的声音信息，采用ADPCM编码将声音绑定到教师虚拟化身模型；

（2）数据传输管理，通过部署边缘云，构建云-边-端网络架构，为云渲染、云编辑和数据传输提供支持服务；师生从终端登陆虚拟教学空间，从本地和边缘云加载不同类型的数据和服务；通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；根据用户的显示控制参数，完成数据的自适应传输；

具体包括以下步骤：

（2-1）边缘云部署，在立体教学场的集中使用区域部署边缘云平台，构建云-边-端网络架构，结合CPU和GPU的虚化功能，实现数据存储、传输和渲染的基础架构计算和缓存服务，为云渲染、云编辑和数据传输提供统一的支持服务；

（2-2）数据加载，师生用户登录虚拟教学空间时，显示终端将从本地加载虚拟场景、师生模型和教学资源数据，并向边缘云发送请求服务，获取跟自己相关的课程信息、师生在线或离线登录状态、待加入课堂的位置；

（2-3）数据状态控制，虚拟教学活动开始、执行和停止过程中，使用活跃、空闲、静止表示虚拟教学空间中的师生模型、教具学具和活动位置，通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；

（2-4）数据传输，根据用户的头部转动方向和速度、注视点位置，基于UDP协议，自适应调整视场内各分块的传输次序，采用GCC拥塞控制算法检测用户的网络状态，动态调整立体教学场数据传输的发送码率，采用滑动窗口方法控制数据包在待发送和发送缓存队列之间的转移；

（3）数据存储，建立虚拟教学数据库模型，实现分布式系统存储；通过尾部追加更新要素文件，生成数据存储和索引节点；基于性能预测模型，实现对立体教学场数据的存取、调度与性能变化的预估；依据空间聚类，采用三维空间数据自适应压缩算法，实现分布式数据存储；

具体包括以下步骤：

（3-1）空间索引，针对立体综合教学场数据的多源、异构和海量特征，按照要素集-要素对象-三维模型、属性和音视频元素三个粒度层次，采用R树的空间索引结构，建立虚拟教学空间数据库模型，实现网络化分布式存储；

（3-2）数据更新，将数据按类型序列化成数据块，新建、编辑、修改、删除的更新数据追加到要素集文件的尾部，采用对象的描述性信息来记录新追加对象的相关信息，按段先后写入更新数据，并在R树中增加一个更新的索引节点；

（3-3）数据调度，提取数据传输吞吐量、数据传输率、单位时间服务对象数、并发数、页面帧速、页面帧速方差性能指标，量化内存、显存、硬盘转速、服务节点树、磁盘页面分布规律指标，结合立体综合教学场的空间索引，建立性能预测模型，实现网络环境下数据的存取、调度和性能变化的预估；

（3-4）数据分布式存储，依据空间聚类，采用三维空间数据自适应压缩算法，将相邻虚拟教学空间的相关对象写入到文件中相邻或接近的位置，构建数据库物理层和网络层模型，形成磁盘页面属性与空间属性相结合的数据分布模式；

（4）空间定位追踪，利用超广角追踪传感摄像头和IMU惯导传感器，定位、追踪师生的头部运动信息，获取其视点位置和视场范围；使用光学动作捕捉追踪系统，跟踪和识别教学过程中师生的头部、躯干和四肢的动作；通过传感摄像头采集手部LED灯的光斑信息，构建运动预测模型，精准定位教学过程中师生的手部交互点；

（5）虚拟化身表示，根据师生的个性化参数，选取化身模型，提取面部特征部位的关键点，映射脸部纹理；根据接收到的声音数据，分析解码后的语音特征，映射成嘴部特征点的形变，实现虚拟化身的唇语同步；采用光学捕捉设备动态追踪师生的动作，驱动虚拟教学空间中化身的实时更新；

（6）虚拟教学活动构建，在虚拟空间中创建与真实场景相似的学校、教学楼和教室，根据教学需要设置桌椅、白板、屏幕的位置；教师根据教学计划和课程表创建教学活动，通过班级管理功能向学习者发送活动通知；师生通过教室号跳转或漫游方式进入虚拟教学空间，以虚拟化身的形式参加教学活动；

（7）教学互动，虚拟教学空间中师生化身通过多种协作工具开展教学活动，教师能使用语音、手势、板书和草图讲解知识点；采用3D思维导图创设、串联、组织、展示教学内容；通过移动终端控制教学资源放置和播放形式，实现师生之间的互动反馈；

（8）教学管理，管理员导入学校师生信息，教师获取选课的学习者信息，管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间，管理员审核通过后可共享给其他师生；教师可在个人空间中管理虚拟教学资源，使用多种方式查找资源；

（9）终端显示，选择视场范围及其两侧视角外的画面内容，通过5G链路，经编码、上传、5G渲染和解码，在终端显示；采用Session级、秒级和帧级三层带宽技术控制显示终端的带宽波动，使用多级缓存技术逐帧解码和显示视频图像；结合头部动作预测和云端异步渲染技术，控制上行动作、下行内容和画面的MTP时延。