[发明专利]一种结合生物形态神经元模型的动态表情识别方法

权利要求书

1.一种结合生物形态神经元模型的动态表情识别方法，其特征在于，该方法利用人工神经网络CNN与基于LIF神经元模型的脉冲神经网络SNN进行混合网络模型设计，将CNN网络模型中乘加累积后执行非线性激活模块替换成具有更贴近生物真实性的LIF神经元模型；具体包括：

(A)：通过脉冲频率编码方法，神经元放电序列的编码以放电频率为依据，将连续的像素信号按照频率编码方法，转换成离散的脉冲序列，定义脉冲计数频率；

(B)：基于(A)中的脉冲计数频率建立LIF神经元模型，并对建立的LIF神经元模型进行可迭代版本转换；

(C)：将前述(B)形成的可迭代版本LIF神经元模型与CNN网络结构相结合，确定发放脉冲，并将发放的脉冲传递到下一层参与运算；

(D)：将前述(A)-(C)操作形成的可迭代版本LIF神经元模型与经过训练的投票权重矩阵进行融合，输出置信度，确定最终预测的动态表情，搭建为所需的网络结构；

(E)：构建前述(D)中搭建的网络结构的损失函数，并进行优化训练，从而获得最终的结合生物形态神经元模型。

2.如权利要求1所述的动态表情识别方法，其特征在于，在搭建结合生物形态神经元模型前，需要进行动态表情分类，将人脸面部表情按照情绪表达分类，并将分好的类别以数字或代码的方式表示；分别选取每时间区间内动态人脸图像依据前述分类构成一组类型的表情样本。

3.如权利要求2所述的动态表情识别方法，其特征在于，形成表情样本的人脸图像中，人脸尺寸统一为64*64像素大小。

4.如权利要求3所述的动态表情识别方法，其特征在于，在前述方法(A)中，离散的脉冲序列采用一系列二元卷积核数量来表示，其值为二元的0,1表示，与人脸图像同尺寸大小。

5.如权利要求1所述的动态表情识别方法，其特征在于，在前述方法(A)中，定义脉冲计数频率V，其计算方法为：

其中，T表示时间区间，N表示脉冲个数，公式(1)即为通过时间区间T内脉冲个数N作为当前脉冲计数频率；

由于生物学上认为生物发放脉冲最大速率为63.75Hz，每个神经元亮度范围由[0：255]归一化到[0：63.75]，脉冲采样是概率性的，遵循伯努利分布，每个神经元按照时间区间T编码成脉冲，其放电频率和像素亮度成正比。

6.如权利要求5所述的动态表情识别方法，其特征在于，在前述方法(B)中，LIF神经元模型是一种仿生的神经元模型，更具贴近真实的生物神经元，表现为：当累积的输入膜电压达到设定阈值V_th时，神经元即发放脉冲信号,随后电压降至静息电位，生物学上的公式表示如下：

当V＞＝V_th时，按照膜电位更新公式进行电压更新，当V＞＝V_th时，进行脉冲发放并将电压归位静息电压状态，且接收动态的有监督表情样本，利用LIF神经元模型中的膜电位更新机制和脉冲发放机制，获得突触后神经元脉冲的发放结果。

7.如权利要求6所述的动态表情识别方法，其特征在于，由于公式(2)表示为生物现象的模拟，很难直接应用现有深度学习框架进行求解，因此根据设定人脸表情识别场景，有必要将其转换成可迭代计算的数学表达式：

spikeⁿ⁺¹(k)＝step(Vⁿ⁺¹(k)-V_th) 公式(4)

其中，n为第n层网络，l(n)表示当前层神经元个数；

公式(3)前半部分表示当前第n层突触权重与脉冲输入的线性乘积累加，可以得出当发放脉冲时，公式(3)后半部为0，膜电位归位静息状态，否则按照λ衰减速率进行衰减；

公式(4)中step为阶跃函数，当V＞＝V_th时，返回1，否则返回0；

利用公式(3)结合公式(4)来实现数学可迭代版本来模拟公式(2)中膜电位变化和阈值发放情况。