[发明专利]一种智能录播模型的构建方法、装置及教学智能录播方法

说明书

本发明提供一种智能录播模型的构建方法及装置，其是运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图像，将其转换成单通道灰度图像，然后将图片集制作成keras能识别的数据集；在预先构建的通用卷积神经网络中创建三个分支，分别用于识别手部、头部和脸部动作，这三个分支全连接层末端分别添加softmax层，得到初始卷积的神经网络；分别将处理后的图像的数据输入所述初始神经网络进行训练，最终得到一个训练好的神经网络模型。本发明还将该神经网络模型应用于教学中形成教学智能录播方法，用于识别课堂上学生的手部动作、头部动作和脸部动作是否为不认真听讲，并发送给教师机，便于教师根据该信息决定是否提问或者改变教学策略。

技术领域

本发明涉及一种录播方法，特别涉及一种基于卷积神经网络的智能录播方法。

背景技术

目前市面上的录播主机各式各样,但几乎不存在在课堂上实时地将学生的行为与教师的教学智能化联系在一起，在教学上的应用也只是记录相关数据作为事后教学的参考。

2014-04-30公开的，公开号为103761983A的中国发明揭示了一种在教育系统中实现实时录播的方法及系统，所述系统包括：学生电脑桌，实时录播学生的学习状况；教师讲台实时录播教师的教学状况；多个位置识别器，用于识别用户身份信息和位置信息令；控制服务器，用于在多个位置识别器识别用户身份和位置信息后，触发学生电脑桌或者教师讲台完成实时录播，以及存储学生电脑桌发送的实时录播学生的学习状况信息，以及教师讲台发送的实时录播教室的教学状况信息。通过本发明实施例，通过位置识别器存储所匹配的用户信息，能够相对应的实时录播学习状况信息和教师状况信息，并能根据相应的关系存储在控制服务器中，并由控制服务器提供相应的访问接口，能够满足授权用户的访问。该主要实现由控制服务器统一控制触发教师与学生端实时录播，并供授权用户访问，并没有将学生的状态实时传送给授课中的教师，不能实时地将学生的行为与教师的教学智能化联系在一起。

发明内容

本发明要解决的技术问题，在于提供一种智能录播模型的构建方法及装置，用于构建智能录播的神经网络模型，可以用于识别人体的手部动作、头部动作和脸部动作。

本发明方法是这样实现的：一种智能录播模型的构建方法，包括：

步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图像，将其转换成格式固定的单通道灰度图像，然后将图片集制作成keras能识别的数据集；

步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支，分别用于识别手部动作、头部动作和脸部动作，在这三个分支全连接层末端分别添加一个softmax层，由此得到初始卷积的神经网络；

步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练，通过输入的手、头、脸三个特征向量，以及预设的三个分支的权重，根据梯度下降算法计算，最终得到一个训练好的神经网络模型。

本发明装置是这样实现的：一种智能录播模型的构建装置，该装置为嵌入式设备或计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图像，将其转换成格式固定的单通道灰度图像，然后将图片集制作成keras能识别的数据集；

步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支，分别用于识别手部动作、头部动作和脸部动作，在这三个分支全连接层末端分别添加一个softmax层，由此得到初始卷积的神经网络；

步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练，通过输入的手、头、脸三个特征向量，以及预设的三个分支的权重，根据梯度下降算法计算，最终得到一个训练好的神经网络模型。