[发明专利]一种基于人工智能的情绪行为可视化分析方法

说明书

本发明实施例涉及人工智能技术领域，具体而言，涉及一种基于人工智能的情绪行为可视化分析方法。该方法应用于一与设置于教室内的拍摄设备通信连接的电子设备，该方法包括：获得拍摄设备实时采集的图像数据和语音数据并存储，获取教学模型，将教学模型输入卷积神经网络，采用卷积神经网络对图像数据和语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储，根据师生情绪分析结果和师生行为分析结果生成可视化报告并存储，采用卷积神经网络对可视化报告进行数据解读以获得数据解读结果并存储，根据数据解读结果进行教学诊断和预警。采用该方法能够提高多模态情感分析技术的延展性，进而提高卷积神经网络的延展性。

技术领域

本发明实施例涉及人工智能技术领域，具体而言，涉及一种基于人工智能的情绪行为可视化分析方法。

背景技术

多模态情感分析技术能够对文字情感、面部表情和语音情绪等元素进行分析，进而推断和预测人类在时间维度上的情绪行为变化。但是现有的大多数多模态情感分析技术的跨领域应用性不高，缺少行业应用的延展性。

发明内容

有鉴于此，本发明提供了一种基于人工智能的情绪行为可视化分析方法。

本发明实施例提供了一种基于人工智能的情绪行为可视化分析方法，应用于一电子设备，所述电子设备与设置于教室内的拍摄设备通信连接，所述方法包括：

获得所述拍摄设备实时采集的图像数据和语音数据并存储；

获取教学模型，将所述教学模型输入卷积神经网络，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储；

根据所述师生情绪分析结果和所述师生行为分析结果生成可视化报告并存储；

采用所述卷积神经网络对所述可视化报告进行数据解读以获得数据解读结果并存储，根据所述数据解读结果进行教学诊断和预警。

可选地，所述方法还包括：

将所述数据解读结果输入所述卷积神经网络进行训练。

可选地，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储的步骤，包括：

提取所述图像数据中的人脸图像，结合预设微表情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点；其中，所述人脸图像包括老师的人脸图像和学生的人脸图像；

根据所述人脸图像和所述特征点生成人面模型，并标定所述人面模型中的特征点；

根据所述人面模型中的特征点的位置变化，调用心理行为特征分析数据库和所述预设微表情特征数据库分析所述人面模型的情绪变化，获得师生情绪分析结果；

提取所述图像数据中的动作图像，结合所述动作图像和所述人面模型中的特征点的位置变化，调用预设行为数据库分析所述人面模型的行为变化，获得师生行为分析结果。

可选地，提取所述图像数据中的人脸图像，结合预设微表情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点的步骤，包括：

调用预设颜色分析数据库对所述图像数据进行评估，获得评估结果，根据所述评估结果对所述拍摄设备的拍摄角度和拍摄焦距进行调整，以获得最佳图像；

调用所述预设颜色分析数据库对所述最佳图像的颜色参数和颜色变化情况进行分析，获得所述最佳图像中的人脸位置信息；

调用预设像素统计数据库对所述人脸位置信息进行识别，提取出所述最佳图像中的人脸图像；

调用预设特征点分析数据库，结合所述预设微表情特征数据库对所述最佳图像中的人脸图像进行分析，获得最佳图像中的人脸图像中的特征点。