[发明专利]一种基于表情识别的智慧博物馆管理系统

权利要求书

1.一种基于表情识别的智慧博物馆管理系统，包括：视频采集模块、人脸检测模块、人脸识别模块、表情识别模块、数据处理模块、数据库及可视化模块；其特征在于，所述数据库中预存人脸信息文件夹，所述视频采集模块为设置于博物馆的每一个展位的摄像头，通过摄像头采集得到相应展位的视频图像、并输入人脸检测模块，由人脸检测模块检测视频图像中的人脸图像、分别输入人脸识别模块和表情识别模块；所述人脸识别模块访问数据库中人脸信息文件夹，得到人脸图像的身份信息、并与人脸图像的帧数信息共同存储于数据库中；所述表情识别模块对人脸图像进行表情识别，得到表情类别、并存储于数据库中；所述数据处理模块访问数据库，计算得到评价指标，并通过可视化模块进行展示；

所述可视化模块的可视化方法具体为：

针对游客：根据其参观展位的前后顺序、结合博物馆地图绘制参观路径图，且参观路径上的每一个展位标记游客停留时间和表情评分；参观路径图通过微信小程序或APP进行推送至游客，实现可视化；

针对管理者：将各个展位的满意度评分和吸引力评分通过热力图实时显示；具体为：首先获取博物馆地图，然后根据数据处理模块得到的各个展位满意度和吸引力评分，进行博物馆地图上的热力图实时显示。

2.按权利要求1所述基于表情识别的智慧博物馆管理系统，其特征在于，所述人脸检测模块采用多任务级联卷积网络(MTCNN)模型，所述人脸识别模块采用FaceNet网络模型。

3.按权利要求1所述基于表情识别的智慧博物馆管理系统，其特征在于，所述表情识别模块采用A_mini_Xception网络模型，所述A_mini_Xception网络模型包括两个部分，其中，第一部分包含顺序连接的2个普通卷积核和5组深度可分离卷积，且每个卷积核后面都会跟着批处理的归一化操作；每个深度可分离卷积由两个分支构成，第一分支为顺序连接的2个3×3的可分离卷积核(Separable Convolution)与1个最大池化层，第二分支为1个1×1的可分离卷积核，第一分支与第二分支的数据经过残差连接(residual connection)后输入到第二部分；第二部分由顺序连接的1个3×3的普通卷积核、1个全局平均池化层、1个Softmax层。

4.按权利要求3所述基于表情识别的智慧博物馆管理系统，其特征在于，所述A_mini_Xception网络模型的训练过程如下：

步骤1.构建训练集：

步骤1.1.通过互联网采集或者公开数据集获取情感图像，依据情感图像中表情进行分类：高兴、感兴趣、专注、困惑、厌烦和疲劳，并制作类型标签：高兴、感兴趣、专注、困惑、厌烦和疲劳依次标记为第1类～第6类；

步骤1.2.数据预处理，将情感图像输入人脸检测模型，得到人脸图像；再对人脸图像依次进行灰度归一化和直方图均衡化处理；将灰度归一化和直方图均衡化处理后的人脸图像及其分类标签作为训练样本，进而得到训练集；

步骤2.模型训练：

设置损失函数，采用Adam优化器对网络模型进行训练；所述损失函数为：

其中，n为输入样本数，m为分类数；y_im表示第i个样本为第m类的模型预测值，表示第i个样本的类型标签。

5.按权利要求1所述基于表情识别的智慧博物馆管理系统，其特征在于，所述数据处理模块中，评价指标包括：游客于每一个展位的驻留时间和满意度评分，游客对博物馆的满意度评分，每一个展位的满意度评分和吸引力评分，博物馆的总体满意度评分和平均参观时间；

每个评价指标的具体计算过程如下：

1)游客于每一个展位的驻留时间和满意度评分：

驻留时间计算：将游客最后一次出现在本展位的帧数与第一次出现在本展位的帧数进行差值计算，得出游客于本展位的驻留时间；

满意度计算：以10分为满分机制为每一类表情赋值：高兴：10分、感兴趣：8分、专注：7分、困惑：5分、疲劳：3分、厌烦：1分；计算游客于本展位驻留时间内表情分数的平均值作为游客对展位的满意度评分；

2)游客对博物馆的满意度评分：

针对单一游客建立满意度计算模型：

R_k＝α₁·x₁+α₂·x₂+...+α_M·x_M+β·T+γ

其中，R_k表示游客k对博物馆的满意度评分，x₁,x₂,...,x_M分别表示游客k参观第1～第M个展位的满意度评分，α₁,α₂,...,α_M,β,γ均为预设权重，M为展位总数，T表示游客参观博物馆的总时长；

3)每一个展位的满意度评分和吸引力评分：

针对单个展位建立吸引力评分模型；假设预设时段共有游客N人，展位数量为M，设表示游客k在第i个展位的表情评分，表示游客k在第i个展位的参观时间，k＝1,2,...,N，i＝1,2,...,M，R_k表示游客k的满意度评分；建立单个展位建立吸引力评分模型为：

其中，Q_i表示第i个展位吸引力评分，xⁱ表示第i个展位的满意度评分：

4)博物馆的总体满意度评分和平均参观时间：

针对博物馆建立综合评分模型，包括总体满意度评分与平均参观时长，其中，

总体满意度指数R_tol：

平均参观时长T′：