[发明专利]一种基于多模态信号融合的设计意图判别系统及方法

说明书

本发明公开了一种基于多模态信号融合的设计意图判别系统及方法，该系统通过多模态信号采集模块采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块；多模态信号分层整合模块，对预处理后的多模态信号进行特征提取，构建基于三层反向传播神经网络的信号识别分类模型，将提取的特征信息输入信号识别分类模型，将输出的识别结果进行统一表达和融合分析，确定用户的设计意图；产品设计指令生成模块，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。本发明降低了用户设计意图的表达的局限性，提高了用户设计意图表达的自然性和友好性。

技术领域

本发明涉及人机交互技术领域，特别是涉及一种基于多模态信号融合的设计意图判别系统及方法。

背景技术

近年来，CAD技术向标准化、集成化、智能化方向发展；随着人工智能和专家系统的引入，智能设计概念应运而生。智能设计过程强调以人工智能技术为实现手段，并为用户提供强大的智能人机交互功能。然而，现有的鼠标、键盘等传统交互模式主要依赖双手的高频反复操作，是一种非自然的设计意图表达方式，在使用的自然性和友好性等方面存在很大局限性，难以满足智能设计中对智能交互过程的发展需求。

发明内容

本发明的目的是提供一种基于多模态信号融合的设计意图判别系统及方法，通过对用户多模态信号的融合分析，降低了用户设计意图的表达的局限性。

为实现上述目的，本发明提供了如下方案：

一种基于多模态信号融合的设计意图判别系统，该系统包括多模态信号采集模块、多模态信号预处理模块、多模态信号分层整合模块和产品设计指令生成模块；

多模态信号采集模块，用于采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块；

多模态信号预处理模块，接收多模态信号，对多模态信号进行预处理，去除多模态信号中的无效数据，并将预处理后的多模态信号发送到多模态信号分层整合模块；

多模态信号分层整合模块包括特征层、原语层、指令层和意图层；

特征层，对预处理后的多模态信号进行特征提取；

原语层，构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入信号识别分类模型，得到与用户的操作意图对应的操作信息，各操作信息采用交互原语的形式表达；

指令层，利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；

意图层将各交互原语进行融合分析确定用户的设计意图；

产品设计指令生成模块，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。

可选的，多模态信号包括脑电信号、手势信号和眼动信号；多模态信号采集模块包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号。

可选的，预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。

可选的，系统还包括图形可视化模块，用于将用户的设计意图输入到相应的设计软件并进行可视化显示。

本发明还公开了一种基于多模态信号融合的设计意图判别方法，该方法包括：

采集用户在产品设计过程中的多模态信号；

对多模态信号进行预处理，去除多模态信号中的无效数据；

对预处理后的多模态信号进行特征提取；