[发明专利]可穿戴设备的手臂手势交互方法、系统和电子设备

说明书

本申请涉及可穿戴设备的指令交互的领域，其具体地公开了一种可穿戴设备的手臂手势交互方法、系统和电子设备。其通过卷积神经网络模型对所述手臂图像的序列以及生物电信号的信号波形图进行处理，以提取出所述图像序列中的运动信息和所述信号波形图中的局部关联特征，进一步基于似然性最大化的高斯密度图对所述特征向量和所述特征矩阵进行有效地融合，以使得后续分类的结果更为准确。这样，可以更精准地对手势手臂类型进行识别，以更加准确地理解人体的行为所表达的意愿，进而给人们带来更加满意的体验感。

技术领域

本发明涉及可穿戴设备的指令交互的领域，且更为具体地，涉及一种可穿戴设备的手臂手势交互方法、系统和电子设备。

背景技术

随着科技的进步以及生活水平的不断提高，智能可穿戴设备逐渐步入人们的眼帘，也逐渐融入到人们的生活当中，成为了一系列家喻户晓的电子产品。然而，受限于智能可穿戴设备自身可穿戴、便携的特性，它们的尺寸设计通常较小，只能配备很小的触摸屏甚至没有触摸屏。这就使得原本适合于手机的点按控制难以在可穿戴设备中使用。

因此，为了改善用户在控制可穿戴设备时的体验，近年来研究者们致力于研究通过各种设备识别人体的行为来理解人体动作所表达的意愿。人体的手势动作从动作的运动范围主要可以分为两种，一种是微粒度的手指上的动作，一种是粗粒度的手臂运动所产生的动作。现有的一些方案只是在手指的微粒度或者手臂的粗粒度上进行特定的识别，且识别的手势或手臂类型的准确率和精度都达不到人们满意的效果。因此，为了在识别人体的行为时结合手势动作和手指动作这两者的特性，以更精准地对手势手臂类型进行识别，期望一种可穿戴设备的手臂手势交互方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种可穿戴设备的手臂手势交互方法、系统和电子设备，其通过卷积神经网络模型对所述手臂图像的序列以及生物电信号的信号波形图进行处理，以提取出所述图像序列中的运动信息和所述信号波形图中的局部关联特征，进一步基于似然性最大化的高斯密度图对所述特征向量和所述特征矩阵进行有效地融合，以使得后续分类的结果更为准确。这样，可以更精准地对手势手臂类型进行识别，以更加准确地理解人体的行为所表达的意愿，进而给人们带来更加满意的体验感。

根据本申请的一个方面，提供了一种可穿戴设备的手臂手势交互方法，其包括：

获取由摄像头采集的手臂图像的序列；

将所述手臂图像的序列输入作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；

获取由肌电传感器在采集所述手臂图像的序列的时间内所捕捉的生物电信号的信号波形图；

将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；

通过线性变换将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量V的长度为L，所述特征矩阵M的尺寸为L×L；

基于所述特征向量V和所述特征矩阵M，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量V与所述特征矩阵M之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量V与所述特征矩阵M之间的点乘与所述均值向量之间的差值确定；

对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；

将所述分类特征图通过分类器以获得所述手臂图像的序列和所述信号波形图归属于预定手势的概率；

基于所述手臂图像的序列和所述信号波形图归属于预定手势的概率，确定手势类型；以及

基于所述手势类型，确定交互指令。