[发明专利]一种表情信息采集装置和表情识别方法及系统

说明书

本发明提供了一种情信息采集装置和表情识别方法及系统。表情信息采集装置包括：用于贴合于面部的柔性面膜基底和多个设置于所述面膜基底上的压电薄膜传感器，用于检测人脸的表情动作。表情识别方法包括获取表情信息采集装置采集的预设面部节点集合中所有节点的节点数据，节点数据包括节点的空间位置和节点表情数据的时间序列；根据节点数据，使用经过预训练的图卷积神经网络表情识别模型进行面部表情识别。节点数据利用了传感器直接采集人脸的肌肉和皮肤动作信息，未经图像形式的降维带来的信息损失和失真，更精确信息量更大。传感器的图拓扑分布与图神经网络数据处理方式在数据结构上的内在契合，使得GCN能够得到更好的表情识别结果。

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种情信息采集装置和表情识别方法及系统。

背景技术

目前，表情识别主要是基于采集的图片或视频中人脸图像时间序列，通过深度神经网络，特别是深度卷积神经网络来实现表情分类。然而基于图像以及视频序列来识别表情，特别是微表情和微动作，卷积神经网络算法往往受限于表情捕捉的精确程度，很难具备较高的准确度。其中，微表情分类相对于宏表情(情绪分类)来说更加困难，主要因为数据稀疏、需要定位到面部局部区域，且持续时间较短，不易捕捉。

发明内容

为了解决上述技术问题中的至少一个方面，获得更好表情识别结果，本发明提出了一种表情信息采集装置和表情识别方法及系统，以及一种非临时性计算机可读存储介质。

根据本发明的第一方面，提出了一种表情信息采集装置，其包括：

面膜基底，用于贴合于人的面部，所述面膜基底为柔性材质；以及

多个压电薄膜传感器，多个所述压电传感器设置于所述面膜基底上，用于检测人脸的表情动作。

在一些实施例中，所述面膜基底为多个，每个面膜基底具有不同的尺寸和/或形状，不同面膜基底用于匹配不同的使用者面部形态。

在一些实施例中，所述表情信息采集装置还包括：

控制模块，用于接收所述多个压电薄膜传感器输出的信号，将信号进行预处理后生成表情数据，并将表情数据发送到表情识别装置。

在一些实施例中，所述控制模块包括：

信号放大单元，用于对接收所述多个压电薄膜传感器输出的信号，并进行信号放大；

中央处理单元，用于对信号放大单元输出的放大后的信号进行预处理，生成表情数据，以及控制所述信号放大单元、无线通信单元和供电模块的运作；

无线通信单元，用于与表情识别装置进行通信，将所述表情数据发送到所述表情识别装置；

供电模块，用于给所述信号放大单元、所述信号处理单元、以及无线通信单元提供电能；以及

控制盒，用于容纳所述信号放大单元、所述信号处理单元、所述无线通信单元和所述供电模块。

在一些实施例中，所述表情信息采集装置还包括：

支撑部，所述支撑部连接所述面膜基底和所述控制模块，用于佩戴在使用者头部形成支撑，从而使所述面膜基底和所述控制模块穿戴于使用者头部。

使用基于本发明的表情信息采集装置，由于薄膜传感器与柔性的面膜基底配合使用，相对于传统的面部电信号采集装置，能够与面部形成更好的贴合，并且通过设置于特定预设位置多个的薄膜压电传感器，能实现对面度肌肉和表皮动作的直接捕捉和精细化捕捉，对于各种面部动作特别是微表情动作具有更好的捕捉效果。

本发明第二方面的实施例提出了一种表情识别方法，其包括：

获取预设面部节点集合中的所有节点的节点数据，所述节点数据包括节点的空间位置和节点表情数据的时间序列；以及