[发明专利]一种基于人工智能的情绪行为可视化分析方法

权利要求书

1.一种基于人工智能的情绪行为可视化分析方法，其特征在于，应用于一电子设备，所述电子设备与设置于教室内的拍摄设备通信连接，所述方法包括：

获得所述拍摄设备实时采集的图像数据和语音数据并存储；

获取教学模型，将所述教学模型输入卷积神经网络，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储；

根据所述师生情绪分析结果和所述师生行为分析结果生成可视化报告并存储；

采用所述卷积神经网络对所述可视化报告进行数据解读以获得数据解读结果并存储，根据所述数据解读结果进行教学诊断和预警；

其中，根据所述师生情绪分析结果和所述师生行为分析结果生成可视化报告并存储的步骤，包括：

根据所述师生情绪分析结果和所述师生行为分析结果生成课堂考勤饼状图、课堂行为统计图、课堂情绪统计图和课堂参与度图；

将所述课堂考勤饼状图、所述课堂行为统计图、所述课堂情绪统计图和所述课堂参与度图存储至预设可视化报告数据库；

其中，采用所述卷积神经网络对所述可视化报告进行数据解读以获得数据解读结果并存储，根据所述数据解读结果进行教学诊断和预警的步骤，包括：

将所述课堂情绪统计图输入所述卷积神经网络，采用所述卷积神经网络对所述课堂情绪统计图进行解读，获得负面情绪占比；

判断所述负面情绪占比是否超过第一设定阈值，若超过所述第一设定阈值，向管理系统或管理平台发送预警信息。

2.根据权利要求1所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，所述方法还包括：

将所述数据解读结果输入所述卷积神经网络进行训练。

3.根据权利要求1所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储的步骤，包括：

提取所述图像数据中的人脸图像，结合预设微表情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点；其中，所述人脸图像包括老师的人脸图像和学生的人脸图像；

根据所述人脸图像和所述特征点生成人面模型，并标定所述人面模型中的特征点；

根据所述人面模型中的特征点的位置变化，调用心理行为特征分析数据库和所述预设微表情特征数据库分析所述人面模型的情绪变化，获得师生情绪分析结果；

提取所述图像数据中的动作图像，结合所述动作图像和所述人面模型中的特征点的位置变化，调用预设行为数据库分析所述人面模型的行为变化，获得师生行为分析结果。

4.根据权利要求3所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，提取所述图像数据中的人脸图像，结合预设微表情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点的步骤，包括：

调用预设颜色分析数据库对所述图像数据进行评估，获得评估结果，根据所述评估结果对所述拍摄设备的拍摄角度和拍摄焦距进行调整，以获得最佳图像；

调用所述预设颜色分析数据库对所述最佳图像的颜色参数和颜色变化情况进行分析，获得所述最佳图像中的人脸位置信息；

调用预设像素统计数据库对所述人脸位置信息进行识别，提取出所述最佳图像中的人脸图像；

调用预设特征点分析数据库，结合所述预设微表情特征数据库对所述最佳图像中的人脸图像进行分析，获得最佳图像中的人脸图像中的特征点。

5.根据权利要求4所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，根据所述人脸图像和所述特征点生成人面模型，并标定所述人面模型中的特征点的步骤，包括：

结合所述预设特征点分析数据库、所述预设像素统计数据库和所述预设微表情特征数据库生成人面模型，并标定所述人面模型中的特征点。