[发明专利]一种手势的识别方法、装置和系统

说明书

本发明实施例提供了一种手势的识别方法、装置和系统，所述方法包括：分别获取至少一种第一类传感器和至少一种第二类传感器针对同一用户展示同一手势的动态手势数据和静态手势数据；从每种动态手势数据中提取对应的第一特征矩阵，以及从每种静态手势数据中提取对应的第二特征矩阵；融合所有的第一特征矩阵，得到第一融合特征矩阵，并将第一融合特征矩阵输入预置的第一预测模型中，得到手势的第一识别结果；融合所有的第二特征矩阵，得到第二融合特征矩阵，将第二融合特征矩阵输入预置的第二预测模型中，得到手势的第二识别结果；根据第一识别结果和第二识别结果，得到手势的目标识别结果。

技术领域

本发明涉及数据识别的技术领域，特别是涉及一种手势的识别方法、装置和系统。

背景技术

随着信息和通讯技术发展，传统的人机交互方案例如鼠标、键盘，已经不能满足于人们在动态交互场景下更加灵活的与机器进行交互。为了满足用户的需求，越来越多新的交互方式逐渐被研发出来，例如：基于手势的交互。

针对基于手势的交互中，如何准确的确定用户当前手势所对应的意图，成了当前手势交互场景下亟需解决的问题之一。

在手势交互的场景中，为了使机器具备灵活的感知能力，会安装多种不同类型的传感器。在得到不同类型的传感器针对同一手势的手势数据后，可以采用不同的方式来确定该手势所对应的用户意图。

第一种方式：早期融合，即先将特征进行融合，然后基于融合后的特征进行手势的识别；这种方式在模态之间相关性比较大时性能较高，适用于低维特征表达；但是，不同的数据流所包含的信息之间往往在较高层次才能找到相关性。此外，多模态早期融合方法还需要解决不同数据源之间的时间同步问题。

第二种方式：晚期融合，即先分别进行特征的提取，然后将特征输入至不同的模型进行识别；之后再融合不同模型所输出的识别结果；这种方式的优点是多个模型不相关，不需要处理过拟合问题；但是也存在一定的缺点，例如：当模态之间相关性比较大时性能低于早期融合，且不允许分类器同时训练所有数据。

第三种方式：混合融合，即将不同的模态数据先转化为高维特征表达，再于模型的中间层进行融合；尽管使用混合融合方法非常灵活，但不同模态转向高维的数据进行融合，增加了模型的复杂度以及降低了一定的性能。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种手势的识别方法、装置和一种手势识别系统，包括：

一种手势的识别方法，所述方法包括：

分别获取至少一种第一类传感器和至少一种第二类传感器针对同一用户展示同一手势的手势数据；每种所述第一类传感器采集的手势数据为动态手势数据，每种所述第二类传感器采集的手势数据为静态手势数据；

从每种所述动态手势数据中提取对应的第一特征矩阵，以及从每种所述静态手势数据中提取对应的第二特征矩阵；

融合所有的第一特征矩阵，得到第一融合特征矩阵，并将所述第一融合特征矩阵输入预置的第一预测模型中，得到所述手势的第一识别结果；

融合所有的第二特征矩阵，得到第二融合特征矩阵，并将所述第二融合特征矩阵输入预置的第二预测模型中，得到所述手势的第二识别结果；

根据所述第一识别结果和所述第二识别结果，得到所述手势的目标识别结果。

可选地，所述融合所有的第一特征矩阵，得到第一融合特征矩阵，包括：

对每个第一特征矩阵进行降维处理，得到对应的降维特征矩阵；

融合所有的降维特征矩阵，得到所述第一融合特征矩阵。

可选地，所述第一类传感器包括微型惯性传感器和手指弯曲传感器，所述第二类传感器包括摄像头传感器；