[发明专利]一种应用于电子商务的用户情绪识别方法及装置

说明书

本申请公开了一种应用于电子商务的用户情绪识别方法，包括：云服务器获取用户微表情视频，并对所述微表情视频进行预处理，获取微表情图像序列；将所述微表情图像序列进行分割，分割为多张微表情子图像，并将所述多张微表情子图像的尺寸大小重设置为所述微表情图像的尺寸大小；构建局部卷积神经网络L‑CNN网络模型和全局卷积神经网络G‑CNN网络模型，利用所述L‑CNN模型从所述多张微表情子图像中提取局部特征，利用所述G‑CNN模型从所述用户微表情图像序列中提取全局特征；利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，并获取所述微表情的分类结果，所述分类结果与所述用户的情绪一一对应。

技术领域

本申请涉及电子商务技术领域，尤其涉及应用于电子商务的用户情绪识别方法及装置。

背景技术

电子商务领域中，对用户或者客户的情绪识别很重要，在客服对话场景中，人工智能的客服对于用户不同的情绪采取不同的处理方式会决定用户是否最终购买商品或服务，在商品推荐场景中，基于不同用户的情绪推荐不同的商品，并配合不同的销售策略，往往能最大程度的提升销售效率。

用户的情绪包括高兴，生气，厌恶，害怕，悲伤等，情绪的识别往往通过采集表情或微表情来进行图像识别，表情识别的技术较为成熟，主要包括人脸数据预处理，特征提取和表情分类三个步骤，以卷积神经网络(Convolutional Neural Network,CNN)为主。而在微表情识别领域，由于其持续时间短，且动作强度低，难以在普通图像处理中进行擦觉，需要在视频中进行发现。

由于微表情在无意识状态下自发产生，难以掩饰或伪装，通常与真实情感直接相关，所以微表情在用户情绪分析中较为可靠，应用前景广阔；另一方面，由于人为识别微表情比较困难，训练难度大且成功率不高，因此需要计算机进行微表情自动识别。

目前微表情识别的技术中，由于微表情的持续时间短、动作强度低，导致识别准确率不高，从而会影响用户情绪的分析。

发明内容

本申请实施例提供一种应用于电子商务的用户情绪识别方法及装置，用于解决现有技术中微表情识别准确率低的问题。

本发明实施例提供一种应用于电子商务的用户情绪识别方法，包括：

云服务器获取用户微表情视频，并对所述微表情视频进行预处理，获取微表情图像序列；

将所述微表情图像序列进行分割，分割为多张微表情子图像，并将所述多张微表情子图像的尺寸大小重设置为所述微表情图像的尺寸大小；

构建局部卷积神经网络L-CNN网络模型和全局卷积神经网络G-CNN网络模型，利用所述L-CNN模型从所述多张微表情子图像中提取局部特征，利用所述G-CNN模型从所述用户微表情图像序列中提取全局特征；

利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，并获取所述微表情的分类结果，所述分类结果与所述用户的情绪一一对应。

可选地，所述L-CNN模型和所述G-CNN模型均为Xception网络结构，则所述利用所述L-CNN模型从所述多张微表情子图像中提取局部特征，利用所述G-CNN模型从所述用户微表情图像序列中提取全局特征，包括：

利用所述L-CNN模型从所述多张微表情子图像中用户眼部及嘴角的局部特征，利用所述G-CNN模型从所述用户微表情图像序列中提取用户整体人脸特征。

可选地，所述利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，包括：

将所述提取出的局部特征与全局特征进行乘法加权至全连接层，并输入至所述softmax分类器。

可选地，将所述微表情图像序列进行分割，分割为多张微表情子图像，包括：

将所述微表情图像序列按照随机比例进行分割，或，