[发明专利]一种基于语音识别和手势识别的多模态AR眼镜交互系统

说明书

一种基于语音识别和手势识别的多模态AR眼镜交互系统，提供了基于语音识别和手势识别的多模态AR(增强现实)可穿戴设备交互系统有效的填补了这方面的空白。用户可以在使用单模态交互方式的同时，结合语音和手势操作去扩展操作方式，也可以根据用户的喜好设置不同的语音+手势的识别操作的方式，然后结合AR(增强现实)可穿戴设备去体验全新的多模态、高沉浸式的用户交互体验。

技术领域

本发明涉及增强现实技术领域，具体涉及一种基于语音识别和手势识别的多模态AR眼镜交互系统。

背景技术

在多模态里面的视觉和听觉获取的信息的比例总和为94%，而且是当前流行的GUI(图形用户界面)和VUI(语音用户界面)使用的两个通道。所以在计算机和图形领域融合这两种最大的用户交互方式去进行信息的判断，可以提供给用户高效操作的系统，最终让用户可以舒服、高效、安全的来跟AR(增强现实)可穿戴设备实现互动。但是现有的AR眼镜无法进行语音与手势的识别，从而不能提高用户交互体验。

发明内容

本发明为了克服以上技术的不足，提供了一种结合语音与手势操作，提高用户交互的基于语音识别和手势识别的多模态AR眼镜交互系统。

本发明克服其技术问题所采用的技术方案是：

一种基于语音识别和手势识别的多模态AR眼镜交互系统，包括如下步骤：

a)根据不同场景对用户语音和手势数据进行收集；

b)对收集的语音和手势数据进行预处理；

c)利用人工智能模型训练预处理后的数据；

d)根据训练的结果进行模型的优化后提高模型识别语音及手势的准确度；

e)将训练好的模型部署到AR眼镜的可穿戴设备系统中；

f)用户通激活交互方式后通过不同的语音加手势的组合对AR眼镜进行不同的操作和交互。

进一步的，步骤b)中对不同语音与手势的组合进行数据的标注和对齐。

进一步的，步骤f)中用户通过语音加手势的方式激活交互方式。

本发明的有益效果是：提供了基于语音识别和手势识别的多模态AR(增强现实)可穿戴设备交互系统有效的填补了这方面的空白。用户可以在使用单模态交互方式的同时，结合语音和手势操作去扩展操作方式，也可以根据用户的喜好设置不同的语音+手势的识别操作的方式，然后结合AR(增强现实)可穿戴设备去体验全新的多模态、高沉浸式的用户交互体验。

附图说明

图1为本发明的系统流程图。

具体实施方式

下面结合附图1对本发明做进一步说明。

一种基于语音识别和手势识别的多模态AR眼镜交互系统，包括如下步骤：

a)根据不同场景对用户语音和手势数据进行收集；

b)对收集的语音和手势数据进行预处理；

c)利用人工智能模型训练预处理后的数据；

d)根据训练的结果进行模型的优化后提高模型识别语音及手势的准确度；

e)将训练好的模型部署到AR眼镜的可穿戴设备系统中；

f)用户通激活交互方式后通过不同的语音加手势的组合对AR眼镜进行不同的操作和交互。

提供了基于语音识别和手势识别的多模态AR(增强现实)可穿戴设备交互系统有效的填补了这方面的空白。用户可以在使用单模态交互方式的同时，结合语音和手势操作去扩展操作方式，也可以根据用户的喜好设置不同的语音+手势的识别操作的方式，然后结合AR(增强现实)可穿戴设备去体验全新的多模态、高沉浸式的用户交互体验。

进一步的，步骤b)中对不同语音与手势的组合进行数据的标注和对齐。