[发明专利]一种面向课堂实录视频的教师不当手势检测方法及系统

权利要求书

1.一种面向课堂实录视频的教师不当手势检测方法，其特征在于该方法包括以下步骤：

(1)有效图片获取，加载训练用的课堂实录视频资源，通过视频切割筛选有效视频片段并转换为图片，应用人物检测模型MediaPipe识别教师身份，并应用ResNet网络筛选并保留含有教师的有效图片；

(2)手势检测模型训练，将原始图片数据输入神经网络，通过数据增强、图像分割划分出不同的特征区域，并标注该区域所属手势类别，提取手势特征进行模型训练，并将训练好的最优模型保存为手势检测模型；

(3)不当手势判断，应用训练好的手势检测模型，对由视频转换的图片逐一检测，判断是否存在不当手势，并给出可视化反馈结果。

2.根据权利要求1所述的面向课堂实录视频的教师不当手势检测方法，其特征在于所述步骤(1)有效图片获取的具体过程为：

(1-1)视频信息获取，读取数据库中的视频资源，获取视频的帧率F、宽度W、高度H、分辨率P、时长T；

(1-2)视频切割，以课堂上课时长45分钟、下课休息时长10分钟为单位，根据时长T将视频资源切分为课堂视频片段和课间视频片段；剔除课间视频片段，保留课堂视频片段为有效视频资源；

(1-3)图片转换及清洗，按照帧率F将视频片段转换为图片集合Imgs₁，设置图片存储位置路径为source；对获取到的图片进行数据清洗处理，图片清洗具体步骤如下：

(1-3-1)图片类型划分，根据图片画面内容，将图片划分为课堂环境画面、教师画面、学生画面、师生画面四种类别，其中，课堂环境画面是指以教室为主、没有教师或学生的画面；教师画面是指仅有教师的画面；学生画面是指仅有学生的画面；师生画面是指同时存在着学生和老师的画面；

(1-3-2)图片筛选及存储，应用人物检测模型MediaPipe和ResNet网络对图片集合Imgs₁进行逐一检测分析，对图片类型进行标注，仅保留教师画面和师生画面图片为清洗后的图片集合Imgs₂，并保存为至图片路径source作为后续手势检测模型训练的有效内容，图片类型标注步骤如下：

a.应用人物检测模型MediaPipe对图片集合Imgs₁进行逐一检测分析，捕捉人体关键点记录人体骨架结构，计算每个图片中人体骨架数量Num_skeleton，将Num_skeleton为0的图片标注为课堂环境画面，并将其剔除；

b.针对Num_skeleton大于0的图片，进行人体骨架完整程度Com_skeleton、各人体骨架与其他骨架群体的间隔距离D_skeleton测算；提取各图片中Com_skeleton最大或D_skeleton最大的人体骨架KEY_skeleton，将各图片中KEY_skeleton出现次数最多的人体骨架标注为教师人体骨架Teacher_skeleton；

c.使用ResNet网络获取教师人体骨架Teacher_skeleton对应人物的面部和服装特征，并将其标注为教师特征Teacher_feature；

d.使用ResNet网络进行教师特征Teacher_feature搜索，搜索不到Teacher_feature的图片标注为学生画面；

e.存在教师特征Teacher_feature且Num_skeleton为1的图片，标注为教师画面；剩余未标注的则标注为师生画面。