[发明专利]基于动态伪标签解码的手语识别系统优化方法及装置

权利要求书

1.一种基于动态伪标签解码的手语识别系统优化方法，其特征在于，应用于手语识别系统，所述手语识别系统包括：特征提取器、时序建模器和序列解码器；所述方法包括：

采用连续联结分类作为优化函数，采用端到端的训练方法训练整个手语识别系统，得到初步可用的手语识别系统；

优化特征提取器的参数；

优化时序建模器的参数；

利用优化后提取的时序特征，采用时序集成网络TEM替换前期优化过程中采用的门限循环卷积网络优化时域集成网络的参数，作为时域建模器嵌回手语识别系统中；

所述时域集成网络包括三个组件：门限循环单元、卷积核大小为1的时序卷积层和卷积核大小为3的时序卷积层；其中，三个组件后各接一个修正线性单元ReLU，采用并联的形式；时序集成网络的后端采用一层全连接层和软最大层；

所述优化特征提取器的参数，包括：

利用时序建模器得到概率矩阵；

基于动态伪标签解码得到每一个视频片段的手语伪标签；

利用所述手语伪标签和交叉熵函数优化特征提取器的参数；

所述基于动态伪标签解码得到每一个视频片段的手语伪标签，包括：

求解目标为视频片段集合和手语标签之间的概率最大的对齐路径：

其中，为输入的T个视频片段的时序特征，为整段视频的N个手语标签；

将标签序列l扩展为在标签序列的首尾和两两之间插入1个空白标签blank，时序特征x和标签序列l′组成了一个T乘以2N+1的格点矩阵，每一个格点(t，n)代表x_t和l′_n的一个对齐关系；其中，t∈[1，T]，n∈[1，2N+1]；

将所述格点(t，n)的概率表示为如下的自然对数形式：

定义一个累加矩阵其初始方式如下：

完整的Q矩阵的数值由如下递归方程计算得到：

β(t，n)＝argmax_{k∈[g(n)，n]}Q(t-1，k)；

Q(t，n)＝p(t，n)+Q(t-1，β(t，n))；

其中：

将每一个Q(t，n)的递归路径记录在β(t，n)中，同时以如下公式回溯得到逆向值b_t：

bT＝max_{k∈[2N，2N+1]}Q(T，k)；

得到概率最大的对齐路径解码如下：

其中，第t个视频片段对应的手语伪标签即为π_t。

2.根据权利要求1所述的方法，其特征在于，所述利用时序建模器得到概率矩阵，包括：

将视频切分为多个视频片段，构成视频片段集合；

将所述视频片段集合输入到三维卷积神经网络中，得到所需的时序特征；

将所述时序特征输入到时序建模器中，得到对应的隐变量；

基于所述隐变量经过时序建模器中的全连接层和软最大层，得到针对每一个视频片段的概率矩阵。

3.根据权利要求2所述的方法，其特征在于，所述优化时序建模器的参数，包括：

利用优化后的特征提取器，提取出时序特征作为输入，优化时序建模器的参数。