[发明专利]一种运行于树莓派的情绪感知方法

说明书

本发明公开了一种运行于树莓派的情绪感知方法，本发明以树莓派为嵌入式以及深度学习开发平台，能够采集用户的情绪状态并给出相应的数据分析。模型采用优化后的ResNet18‑SVM、A‑CRNN分类网络，针对于用户的情绪分析问题，我们以七种基本情绪为指标分别从图像和语音进行预测并给出相应的检测结果和数据分析，系统取得了理想效果。发明提出的情绪感知系统，降低了情绪检测的成本，并能够统计出一段时间内用户的情绪数据，可以在一定程度上解决公共心理健康资源稀缺等问题。

技术领域

本发明涉及人工智能领域，涉及一种运行于树莓派的情绪感知方法。

背景技术

于2018年发布的中国城镇居民心理健康白皮书显示，中国城镇居民有73.6％为心理亚健康，16.1％存在不同程度的心理问题，心理健康仅占10.3％。可见随着我国经济的发展，人们的物质需求已经日益满足，但是在这样日新月异、飞速发展的社会中，心理健康逐渐成为我国重要公共卫生问题。

在深度学习算法的飞速发展的过程中,科学家们试图赋予计算机理解人类表情的能力,以实现更好的人工智能。深度学习在人脸识别，自然图像分类，物体检测中已经取得了不错的成绩。在情绪识别方面，不论是从图像识别还是从语音识别，深度学习都提供了全新的实现思路。

国内外都有许多机构致力于情绪识别的研究，也都取得了不错的理论突破。但是这些研究大多都停留在理论上的算法研究，很少与实际相结合，并且多数研究只是对图像信息或语音信息单独进行识别或者分析并没有综合考虑二者的共同作用，使得最终结果的泛化能力不强。纵观国内表情识别市场，许多的表情识别产品或者相关心理疏导服务价格高昂，并且其服务内容主要是是专业的测谎、对罪犯进行监测，并没有面向广大群体

从上述现象可看出，国民心理健康问题日趋严重，但情绪识别的相关算法很少实现并落地，情绪识别、相关心理疏导的服务价格高昂，公共心理健康资源稀缺等问题都亟待解决，所以一种较便捷、能进入群众生活的情绪感知调节系统是市场的一个空缺。该系统使用人工智能的方法实现情绪感知，能最大限度降低相关的成本，并走进大部分老百姓的生活，相信这样的产品会受很大一部分面临心理压力的人群的青睐。

发明内容

为解决目前公共心理健康资源稀缺等问题，本发明提出基于树莓派的情绪感知调节方法。采用深度学习方法实现一个能够根据用户的表情和环境声感知用户的情绪。在人们面临心理压力、内心孤独之时能够缓解人们的不安的情绪，避免因情绪过度极端化而导致心理问题甚至意外的发生。

本发明一种运行于树莓派的情绪感知方法，包含以下步骤：

步骤1、数据预处理(Data Pre-processing)：本系统采用图像和环境人声对人所处的可能情绪做出判断。在图像输入方面，对摄像头捕捉的环境进行人脸检测并裁剪出人脸,再对裁剪后的人脸图片归一化，以实现后续的特征提取；在语音输入方面，对麦克风收集到的声音信息先做静音检测，经滤波器滤波加窗，以滤除环境中不必要的杂音；

对表情数据转化成灰度图，进一步采取灰度图归一化，这样能使其像素的灰度值分布在0至255之间，避免图像对比度不足(图像像素亮度分布不平衡)，还能加快网络的训练速度。由于在情绪识别中，最关键的问题是根据人脸的表情来提取特征，所以可以使用灰度归一化将原来的三维数据降到二维，进而能大大提升网络的训练速度。

步骤2、数据增强(Data Augmentation)：

对步骤1处理后图像进行仿射变换；

步骤3、对于步骤1中提取到的环境人声，进行预加重、分频和加窗，进一步提取梅尔声谱图及其一阶、二阶差分图，组成三通道的图像数据送入神经网络中进行下一步的特征提取。