[发明专利]基于视线追踪的教师行为监测方法

权利要求书

1.一种基于视线追踪的教师行为监测方法，其特征在于，包括以下步骤：

(1)通过图像采集单元获取图像序列；

(2)基于所述图像序列，在图像序列每一帧图像中，检测出人脸特征点图像信息；

(3)基于所述图像中的人脸特征点，求解出人脸朝向；

(4)基于图像中的人脸二维位置，并加入老师身高先验值，确定老师在教室空间的三维位置；

(5)结合老师在教室空间内的三维位置和人脸朝向，并加入桌面高度先验值作为教室空间的基准平面，计算老师的视线在该基准平面的分布情况；

(6)建立一个三维教室模型图，以桌面高度为基准平面，采用热点图描绘老师的视线及位置在该平面的分布情况；

(7)统计老师发言的时间；

所述步骤(4)包含以下子步骤：

(4.1)基于图像的人脸二维位置，取其人脸的中心位置；

(4.2)以老师身高为作为教室空间的基准平面，标注四个采样点，同时在图像中对应位置标注四个采样点，构建基准平面与图像之间的变换矩阵M；

(4.3)将人脸的中心位置经过透视变换矩阵M，便转换到教室的基准平面的二维位置,再加入老师的先验值高度，得到人脸在教室空间的三维位置；

变换矩阵M表示为：

其中(xi′，yi′)为图像标注的四个点的位置，(xi，yi)为以身高作为教室空间的基准平面的四个采样点的位置；

(4.4)基于上述的变换矩阵M，经过下面公式(4)得到老师在以身高为教室空间基准平面的位置p(X，Y)；

其中(x，y)为图像上的点的位置，即图像中的人脸的中心位置；

所述步骤(5)包含以下子步骤：

(5.1)以桌面先验高度为教室空间的基准平面，作为视线的落点平面，结合老师在教室空间内的三维位置和人脸朝向，构建一个空间三角形模型，计算得到老师的视线在该基准平面的位置；据下面公式(5)得到视线位置为s(x，y)；

y＝h*tan(90-φ)*cos(Ψ)+B_y (5)，

其中h为身高与桌面的差值，为俯仰角，ψ为偏航角，(Bx，By)是老师在以身高为教室空间基准平面的位置p(X，Y)；

所述步骤(6)包含以下子步骤：

(6.1)构建一个与真实教室等比例大小的三维教室模型图，以桌面作为基准平面，标注四个采样点，同时在以桌面为教室的基准平面上标注四个相对应的点，构建模型图的基准平面与教室的基准平面之间的变换矩阵M1；

(6.2)将步骤(5)计算得到的视线位置，经过变换矩阵M1，便转换到以桌面为三维教室模型图的基准平面位置上；

(6.3)构建一个与真实教室等比例大小的三维教室模型图，以地面作为基准平面，标注四个采样点，同时在以地面为教室的基准平面上标注四个相对应的点，构建模型图的基准平面与教室的基准平面之间的变换矩阵M2；

(6.4)将步骤(4)得到老师的位置,经过变换矩阵M2，便转换到以地面高度为三维教室模型图的基准平面位置上；

(6.5)采用热点图描绘老师的视线及其位置在三维教室模型图的分布情况。

2.根据权利要求1所述的基于视线追踪的教师行为监测方法，其特征在于，所述步骤(3)包含以下子步骤：

(3.1)在人脸图像信息区域上检测人脸特征点，标识出至少5个人脸特征点；

(3.2)将所述人脸特征点进行人脸特征点对齐，获得用户头部的空间坐标；

(3.3)基于所述用户头部的空间坐标，构建几何立体模型，获得用户头部姿态角。

3.根据权利要求1或2所述的基于视线追踪的教师行为监测方法，其特征在于，所述人脸特征点包括左眼眼角、右眼眼角、嘴巴左嘴角、嘴巴右嘴角和鼻尖。

4.根据权利要求1所述的基于视线追踪的教师行为监测方法，其特征在于，所述步骤(7)包含以下子步骤：

(7.1)提取脸部信息，获得嘴唇的六个特征点；

(7.2)设定嘴唇的纵横比大于k，判定为嘴巴张开；

(7.3)设定闭嘴时长为T，便为不发言；

(7.4)当t1时的纵横比K1大于k,且t2时刻的嘴唇纵横比K2大于k，同时t1与t2的差值小于T，判定为发言。