[发明专利]可穿戴设备的手臂手势交互方法、系统和电子设备

权利要求书

1.一种可穿戴设备的手臂手势交互方法，其特征在于，包括：

获取由摄像头采集的手臂图像的序列；

将所述手臂图像的序列输入作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；

获取由肌电传感器在采集所述手臂图像的序列的时间内所捕捉的生物电信号的信号波形图；

将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；

通过线性变换将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量V的长度为L，所述特征矩阵M的尺寸为L×L；

基于所述特征向量V和所述特征矩阵M，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量V与所述特征矩阵M之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量V与所述特征矩阵M之间的点乘与所述均值向量之间的差值确定；

对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；

将所述分类特征图通过分类器以获得所述手臂图像的序列和所述信号波形图归属于预定手势的概率；

基于所述手臂图像的序列和所述信号波形图归属于预定手势的概率，确定手势类型；以及

基于所述手势类型，确定交互指令。

2.根据权利要求1所述的可穿戴设备的手臂手势交互方法，其中，将所述手臂图像的序列输入作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量，包括：

对所述手臂图像的序列输入所述第一卷积神经网络以获得手臂特征图；

对所述手臂特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述手臂特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量。

3.根据权利要求2所述的可穿戴设备的手臂手势交互方法，其中，对所述手臂特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述手臂特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量，包括：

对所述手臂特征图的沿通道维度的每个特征矩阵进行全局平均值池化处理或全局最大值池化处理以将所述手臂特征图沿通道维度的每个特征矩阵转化为一个所述全局特征值。

4.根据权利要求3所述的可穿戴设备的手臂手势交互方法，其中，将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，包括：

将所述信号波形图输入所述第二卷积神经网络以获得信号特征图；和

对所述信号特征图进行沿通道维度的池化处理以获得所述特征矩阵。

5.根据权利要求4所述的可穿戴设备的手臂手势交互方法，其中，将所述信号波形图输入所述第二卷积神经网络以获得信号特征图，包括：

所述第二卷积神经网络以如下公式对所述信号波形图进行处理以获得所述信号特征图；

其中，所述公式为：

f_i＝active(N_i×f_i-1+B_i)

其中，f_i-1为第i层第二卷积神经网络的输入，f_i为第i层第二卷积神经网络的输出，N_i为第i层第二卷积神经网络的过滤器，且B_i为第i层第二卷积神经网络的偏置矩阵，active表示非线性激活函数。