[发明专利]一种智能录播模型的构建方法、装置及教学智能录播方法

权利要求书

1.一种智能录播模型的构建方法，其特征在于：包括：

步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图像，将其转换成格式固定的单通道灰度图像，然后将图片集制作成keras能识别的数据集；

步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支，分别用于识别手部动作、头部动作和脸部动作，在这三个分支全连接层末端分别添加一个softmax层，由此得到初始卷积的神经网络；

步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练，通过输入的手、头、脸三个特征向量，以及预设的三个分支的权重，根据梯度下降算法计算，最终得到一个训练好的神经网络模型。

2.根据权利要求1所述的一种智能录播模型的构建方法，其特征在于：所述步骤S3中，在训练的过程中根据实际情况增加或减少对应分支的权重进行计算。

3.根据权利要求1所述的一种智能录播模型的构建方法，其特征在于：还包括：

步骤S4、当一轮训练结束后，输入新的图像进行测试，如果低于预定的成功率，就进行新一轮的训练，直到达到或者超过该概率为止。

4.一种智能录播模型的构建装置，该装置为嵌入式设备或计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：

步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图像，将其转换成格式固定的单通道灰度图像，然后将图片集制作成keras能识别的数据集；

步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支，分别用于识别手部动作、头部动作和脸部动作，在这三个分支全连接层末端分别添加一个softmax层，由此得到初始卷积的神经网络；

步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练，通过输入的手、头、脸三个特征向量，以及预设的三个分支的权重，根据梯度下降算法计算，最终得到一个训练好的神经网络模型。

5.根据权利要求4所述的一种智能录播模型的构建装置，其特征在于：所述步骤S3中，在训练的过程中根据实际情况增加或减少对应分支的权重进行计算。

6.根据权利要求4所述的一种智能录播模型的构建装置，其特征在于：还包括：

步骤S4、当一轮训练结束后，输入新的图像进行测试，如果低于预定的成功率，就进行新一轮的训练，直到达到或者超过该概率为止。

7.一种教学智能录播方法，其特征在于：包括：

步骤10、事先通过摄像头采集不认真听讲学生的手部、头部、脸部动作的图像，然后利用如权利要求1至3任一项智能录播模型的构建方法构建教学智能录播模型；

步骤20、课堂教学时，通过摄像头在课堂上采集学生的姿态和手势动作的图像，并导入到所述教学智能录播模型；

步骤30、由所述教学智能录播模型将各个学生图像导入训练好的卷积神经网络模型进行识别进行识别，如果发现有不认真听讲的学生，则实时通知课堂教师主机。

8.根据权利要求7所述的一种教学智能录播方法，其特征在于：所述步骤20中，采集图像前先通过人脸识别技术，确定学生个数以及相应的位置，并对各个学生做好标记，建立对应的数据库。

9.根据权利要求7所述的一种教学智能录播方法，其特征在于：所述步骤20中，采集图像的方式是：通过调整摄像头的位置，对每个学生进行特写，每隔两分钟拍摄各个学生连续300张照片。

10.根据权利要求7所述的一种教学智能录播方法，其特征在于：所述步骤30中，如果连续五个两分钟，该学生均被判定为不认真听讲，在通知课堂教师主机之前或同时，先对该学生进行标记，并将中间的摄像头对准该学生进行警示。

11.根据权利要求7或10所述的一种教学智能录播方法，其特征在于：所述步骤30中，所述通知的方式是调整位于教室中间的摄像头的位置，将其对准该学生拍摄，并将拍摄的照片发给教师主机。