[发明专利]一种结合生物形态神经元模型的动态表情识别方法

说明书

本发明提供了一种结合生物形态神经元模型的动态表情识别方法,选取一定时间区间内的动态人脸图像，采用频率编码方法将原始像素转换成脉冲序列，之后将先乘积累加后进行非线性激活的神经元模型，替换为更接近真实生物学特性的LIF神经元模型，结合卷积神经网络结构进行动态人脸的表情识别。充分利用人工神经网络CNN擅长处理空间信息的能力，结合以LIF神经元模型为基础的脉冲网络结构擅长处理时序信息的能力，将二者融合起来构成混合网络模型，解决动态人脸表情识别问题，相对单张人脸图像的人工神经网络CNN方法，混合网络模型利用动态时空特性，具有更高识别准确率；由于采用事件驱动的脉冲神经元模型，具有更低的参数计算量，因此功耗较低。

技术领域

本发明涉及神经学与计算科学领域，尤其涉及一种结合生物形态神经元模型的动态表情识别方法。

背景技术

人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流，首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。

人脸识别技术由于非接触性和高识别率的特点，在当前安防、认证、交易和反恐等领域获得了广泛的应用。在视频分析与图像识别领域，表情识别是人脸识别领域的扩展，作为人脸识别的重要补充部分，表情识别在多个场景具有重要的应用价值，如警察局内观察嫌疑人的表情变化判断是否说谎；心里学家根据人面部表情变化，可以对其进行更好的开导和交流；通过商场内顾客的表情变化，来判断对本次购物的满意程度等等。但行业内，表情的识别一直是个难题，受限于短暂时间内表情的变化多样，如果只采用一帧人脸图像进行表情识别很难描述当前此人的真实表情变化，如果每帧都进行表情识别，则受限于算力的消耗，和不同帧给出的不同结果，也很难直观的进行评价。

面部表情识别技术主要的应用领域包括人机交互、智能控制、安全、医疗、通信等多个领域，对行人的表情进行正确的识别，将会极大的扩展人脸识别的应用范围。因此，基于上述技术，本领域技术人员致力于提供一种可以对长时间内动态序列中的人脸表情进行客观准确的评价的方法，以解决前述问题。

发明内容

本发明所要解决的技术问题是提供一种结合生物形态神经元模型的动态表情识别方法，针对不同场景下的动态人脸表情进行识别，以便于更好地描述了每一种表情所对应的面部变化，包括眉毛、眼睛、眼睑、嘴唇等等是如何变化的，从而为完善人脸识别相关技术产业链和应用提供帮助。

为了解决上述问题，本发明提供了一种结合生物形态神经元模型的动态表情识别方法，该方法利用人工神经网络CNN与基于LIF(leaky integrate-and-fire)神经元模型的脉冲神经网络SNN进行混合网络模型设计，将CNN网络模型中乘加累积后执行非线性激活模块替换成具有更贴近生物真实性的LIF神经元模型；具体包括：

(A)：通过脉冲频率编码方法，神经元放电序列的编码以放电频率为依据，定义脉冲计数频率；

(B)：基于(A)中的脉冲计数频率建立LIF神经元模型，并对建立的LIF神经元模型进行可迭代版本转换；

(C)：将前述(B)形成的可迭代版本LIF神经元模型与CNN网络结构相结合，确定发放脉冲，并将发放的脉冲传递到下一层参与运算；

(D)：将前述(A)-(C)操作形成的可迭代版本LIF神经元模型，与经过训练的投票权重矩阵进行融合，输出置信度，确定最终预测的生物形态(动态表情)，搭建为所需的网络结构；

(E)：构建前述(D)中搭建的网络结构的损失函数，并进行优化训练，从而获得最终的结合生物形态神经元模型。