[发明专利]一种健壮手语特征提取方法

摘要

本发明提供一种健壮手语特征提取方法，可以从多个场景的手语动作中提取出健壮的且具有显著区分能力的手语特征，属于医疗健康与信息技术领域。该手语特征提取方法采用深度对抗网络架构，包括三个子网络：基于深度卷积结构的特征提取网络、基于全连接结构的场景辨识网络、以及基于稀疏表示结构的分类网络。通过同时最小化手语动作类别估计误差以及最大化场景信息估计误差，该方法确保了所提取的手语特征在不同手语动作之间的可区分性以及在不同场景下的一致性，从而使得使用该方法的手语识别系统可以跨场景工作。本发明将提升手语识别系统在实际多场景工作中的性能，为听力障碍人士与普通人士的有效交流提供条件。

主权项

1.一种健壮手语特征提取方法，其特征在于，该方法主要由基于深度卷积结构的特征提取网络、基于全连接结构的场景辨识网络和基于稀疏表示结构的分类网络相互配合完成；其工作步骤包括离线网络参数计算与在线手语特征提取两个阶段，离线网络参数计算阶段借助已知的手语动作真实值，通过最小化代价函数实现对所有网络参数的求解计算，在线手语特征提取阶段根据当前输入的传感器采集的信息，提取出健壮手语特征，具体如下：1)离线网络参数计算阶段(1.1)人体在某一已知场景下执行某一已知手语动作，手语识别传感器将采集的手语动作信息输入到基于深度卷积结构的特征提取网络中，特征提取网络输出提取的手语特征并传送到基于全连接结构的场景辨识网络以及基于稀疏表示结构的分类网络；(1.2)基于全连接结构的场景辨识网络对特征提取网络提取的手语特征进行深度分析，识别并输出手语动作对应的场景信息；(1.3)基于稀疏表示结构的分类网络对特征提取网络提取的手语特征进行识别分类，输出识别出来的手语动作类别；(1.4)根据识别出来的手语动作场景信息和手语动作类别，以及已知的真实手语动作场景信息和真实手语动作类别，计算代价函数；(1.5)基于误差反向传播算法，通过最小化代价函数实现对基于深度卷积结构的特征提取网络、基于全连接结构的场景辨识网络、以及基于稀疏表示结构的分类网络的网络参数的求解计算；(1.6)重复步骤(1.1)至(1.5)，直到所有网络参数保持不变，离线网络参数计算阶段完毕；2)在线手语特征提取阶段，人体在某一未知场景下执行某一未知手语动作，手语识别传感器将采集的信息输入到基于深度卷积结构的特征提取网络，输出提取的手语特征；所述传感器数据为通过无线接收机采集的信号幅度、相位信息构成的频率时间二维矩阵；所述基于深度卷积结构的特征提取网络包括3‑5层，每层均执行卷积、池化、非线性激活函数三种操作；所述基于全连接结构的场景辨识网络包括3层，每层均与下一层采用全连接结构，并执行非线性激活操作；所述基于稀疏表示结构的分类网络包括输入层和输出层，输入层与输出层采用全连接结构，并将每个输出单元数值范围限定到0至1之间，同时，对输出层增加稀疏约束，确保仅有一个输出单元处于激活状态；所述代价函数等于手语动作类别估计误差减去场景信息估计误差，通过采用Adam算法对代价函数进行最小化操作，借助误差反向传播算法求解计算整个网络参数。