[发明专利]一种多模式协同教育智能处理方法和系统

权利要求书

1.一种多模式协同教育智能处理方法，其特征在于，包括：

获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；

获取所述老师在讲课过程中所书写的板书，其中，获取所述老师在所述讲课过程中所写的板书包括：将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容进行提取；将提取到的板书内容形成板书视频；

将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同，其中，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变；

将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书；

将所述第一视频中声音进行提取，得到第一声音文件；

将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分；

将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音；

将合成后的第二显示视频发送给所述显示设备；其中，获取服务器与所述显示设备之间的网络延迟，当网络延迟大于等于第一阈值时，将所述第二显示视频发送给所述显示设备，当所述网络延迟小于所述第一阈值时，将所述第一显示视频发送给所述显示设备。

2.根据权利要求1所述的方法，其特征在于，获取所述老师在所述讲课过程中所写的板书包括：

获取所述老师在触摸屏幕上写下的所述板书；

将所述板书转化为矢量线条并进行保存。

3.根据权利要求2所述的方法，其特征在于，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：

建立所述矢量线条的出现与时间的对应关系；

将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。

4.一种多模式协同教育智能处理系统，其特征在于，包括：

第一获取模块，用于获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；

第二获取模块，用于获取所述老师在讲课过程中所书写的板书；

生成模块，用于将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；

发送模块，用于将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书；

所述系统还用于：将所述第一视频中声音进行提取，得到第一声音文件；将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分；将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音；将合成后的第二显示视频发送给所述显示设备；其中，获取服务器与所述显示设备之间的网络延迟，当网络延迟大于等于第一阈值时，将所述第二显示视频发送给所述显示设备，当所述网络延迟小于所述第一阈值时，将所述第一显示视频发送给所述显示设备；

其中，所述第二获取模块，用于将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容进行提取；将提取到的板书内容形成板书视频；

所述生成模块用于将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。