[发明专利]一种基于手势与语音识别的双因子认证方法及系统

权利要求书

1.一种基于手势与语音识别的双因子认证方法，其特征在于，包括以下步骤：

S1、获取手势数据与语音数据，并根据手势数据与语音数据构建双因子数据集；

S2、利用基于ANN的隐马尔可夫模型识别双因子数据集中语音数据，得到语音识别结果；

S3、构建手势识别模型，并利用手势识别模型识别双因子数据集中手势数据，得到手势识别结果；

S4、根据手势识别结果与语音识别结果对待检测数据进行双因子认证，得到认证结果。

2.据权利要求1所述的基于手势与语音识别的双因子认证方法，其特征在于，步骤S2具体包括以下分步骤：

A1、利用HMM模型提取双因子数据集中语音数据的语音序列；

A2、利用EM算法优化语音序列，得到最佳语音序列；

A3、利用DTW算法获取最佳语音序列的等维语音特征向量；

A4、利用ANN模型根据等维语音特征向量得到语音识别结果。

3.根据权利要求2所述的基于手势与语音识别的双因子认证方法，其特征在于，步骤A4中语音识别结果表示为：

certViceoRsult＝ANN/HMM(ID，viceo，viceoDB)

其中，viceoDB为用户存储的用于识别的语音信息，viceo为用户语音二进制数据，ANN/HMM(.)为隐马尔可夫模型，certViceoRsult为语音识别结果。

4.根据权利要求3所述的基于手势与语音识别的双因子认证方法，其特征在于，步骤S3具体包括以下分步骤：

B1、利用手势识别模型中区域生成网络对双因子数据集中手势数据进行手部分割，得到分割后的手势数据；

B2、利用手势识别模型中边框回归模型对分割后的手势数据进行手势关键点估计，得到手势识别关键点，其中手势识别关键点具体表示为：

certGestPoints＝MaskR_CNN(ID，gestPoints)

其中，certGestPoints为手势识别关键点，MaskR_CNN(.)为边框回归模型，gestPoints为分割后的手势数据；

B3、利用手势识别模型中隐马尔可夫模型对手势识别关键点进行识别，得到手势识别结果。

5.根据权利要求4所述的基于手势与语音识别的双因子认证方法，其特征在于，步骤S4具体为：

根据手势识别结果与语音识别结果对待检测数据进行双因子认证，并根据检测的数据结果判断验证是否通过，如果验证通过则反馈验证，反馈Ture；否则验证不通过，反馈Flase，并返回步骤S1，重新验证；其中，验证过程可表示为：

certRsult＝result(ID，certGestRsult，certViceoRsult)

其中，certRsult为验证结果。

6.一种基于手势与语音识别的双因子认证系统，其特征在于，包括：

双因子数据集构建模块，用于获取手势数据与语音数据，并构建双因子数据集；

语音识别模块，用于利用基于ANN的隐马尔可夫模型识别双因子数据集中手势数据，得到语音识别结果；

手势识别模块，用于构建手势识别模型，并利用手势识别模型识别双因子数据集中手势数据，得到手势识别结果；

认证模块，用于根据手势识别结果与语音识别结果对待检测数据进行双因子认证，得到认证结果。