[发明专利]基于多维感知和普适计算的智慧教学空间模式构建方法

权利要求书

1.基于多维感知和普适计算的智慧教学空间模式构建方法，其特征在于：所述构建方法包括：

步骤S1、一阶实体维向二阶信息维传输数据，并进行信息汇聚处理服务、媒体流处理服务和媒体文件处理服务；

步骤S2、三阶结构维根据二阶信息维中的信息汇聚处理服务进行信息结构化处理服务，以及根据媒体流处理服务和媒体文件处理服务分别进行视频结构化处理服务、音频结构化处理服务和文本结构化处理服务；

步骤S3、四阶决策维根据三阶结构维中的信息结构化处理服务，以及视频结构化处理服务、音频结构化处理服务和文本结构化处理服务进行内容理解服务；

步骤S4、当四阶决策维中的决策模型管理服务接收到任务触发请求时，五阶虚实融合维中进行视音频图文渲染服务和虚实融合渲染服务；

步骤S5、六阶感知反馈维查看五阶虚实融合维中渲染服务结果，将反馈给三阶结构维中的反馈信息结构化处理服务进行处理，并将处理结果输入到四阶决策维中的决策模型管理服务中，对决策模型进行调整；

所述步骤S3具体包括以下内容：

内容理解服务基于智能标签、语义分析和要素权重库算法建立数据库中的数据关系，提取关键词、关键人物、关键地点并映射出音视频内容和设备之间的管理关系；

所述步骤S4具体包括以下内容：

在智慧教学空间中设置多种规则输出决策模型，并通过决策模型管理服务进行管理，通过任务触发接口调用来触发决策模型管理服务输出不同的输出决策模型输出；

当决策模型管理服务接收到任务触发请求后，视音频图像渲染服务以及虚实融合渲染服务输出不同的内容到内容消费者消费；

所述输出决策模型包括：基于叙事维度的模型、基于人物维度的模型、基于课程核心要点维度的模型和基于热度维度模型；

步骤S4和S6中空间的内容消费者不仅是消费者，也是内容决策的贡献者，通过消费过程中视音频图片内容查看记录，时长以及虚实融合空间的驻留位置等信息，可收集反馈由反馈信息结构化处理服务进行处理，并作为输入因子加权给输出决策模型。

2.根据权利要求1所述的基于多维感知和普适计算的智慧教学空间模式构建方法，其特征在于：所述信息汇聚处理服务包括：用于汇聚智慧教学空间中认证定义的设备定时传送信息，通过MQTT协议将收集的信息按实体维的要素记录到数据库中，并通知到消息队列。

3.根据权利要求1所述的基于多维感知和普适计算的智慧教学空间模式构建方法，其特征在于：所述媒体流处理服务包括：用于将智慧教学空间中的实时流按照GMT时间处理成视频、音频和文本信息保存到存储器上，同时将元数据信息写入到数据库中，并通知到消息队列中。

4.根据权利要求1所述的基于多维感知和普适计算的智慧教学空间模式构建方法，其特征在于：所述媒体文件处理服务包括：将智慧教学空间中获取到的媒体文件处理呈抽帧图片、音频和文本信息保存到存储器上，同时将元数据信息写入到数据库中，并通知到消息队列中。

5.根据权利要求1所述的基于多维感知和普适计算的智慧教学空间模式构建方法，其特征在于：所述信息结构化处理服务包括：将信息汇聚处理服务记录到数据库中的实体维的要素，基于GMT时间，按照地点、人物、位置、声音和温度这些维度进行结构化整理归类保存到数据库中，并通知到消息队列中。

6.根据权利要求1所述的基于多维感知和普适计算的智慧教学空间模式构建方法，其特征在于：所述根据媒体流处理服务和媒体文件处理服务分别进行视频结构化处理服务、音频结构化处理服务和文本结构化处理服务包括：

基于人脸识别、表情识别、动作识别和文字识别这些结构化智能算法对视频和图片的结构化进行处理；基于语音识别和声纹识别对音频的结构化进行处理；基于关键词提取、词法分析和情感分析对文本的结构化进行处理；

按照时间、人物、位置、地点和动作这些维度进行结构化整理归类保存到数据库中，并通知到消息队列中。

7.根据权利要求1所述的基于多维感知和普适计算的智慧教学空间模式构建方法，其特征在于：所述视音频图文渲染服务包括：挑选多视角的实时流进行渲染合并，并将实时的图文数据渲染到视频画面上，最终输出实时流到终端进行播放；

和/或挑选多视角实时流片段，将关联的视频媒体文件、图片片段和输出的文本进行合并，最终生成视频文件到终端进行播放；

所述虚实融合渲染服务包括：挑选多视角的实时流片段，将关联的视频媒体文件片段，与预置的3D模型进行融合，最终生成在终端直接漫游的虚实融合场景。