[发明专利]一种基于非接触式情绪识别的人机交互方法

说明书

本发明公开了一种基于非接触式情绪识别的人机交互方法，包括：步骤1，利用非接触式检测装置获取用户的生理信号特征和非生理信号特征，并依据生理信号特征和非生理信号特征识别用户的情绪状态；步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；在单个虚拟场景完成时，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。本发明以用户的情绪状态作为单个虚拟场景中力反馈大小调整的依据，促进虚拟场景构建系统进行学习以适应用户的需求，单个虚拟场景完成后，依据实时运动参考轨迹和参考运动轨迹的差异，定量评价康复训练的效果。

技术领域

本发明涉及虚拟现实应用技术领域，具体涉及一种基于非接触式情绪识别的人机交互方法。

背景技术

脑卒中(stroke)，又称中风或脑血管意外(cerebrovascular accident，CVA)，属于脑血管类疾病，是指由于脑部供血受阻而迅速发展的脑功能缺失。在美国和欧洲是导致成人残疾的首因，在世界范围内脑卒中是造成死亡的第二大原因。随着世界人口逐步老龄化，在未来的20年，脑卒中疾病造成的社会负担将会极大地增加，这种情况在发展中国家将会变得尤其严重。

针对脑卒中患者的运动障碍，目前的主要治疗方法包括：由医生护士进行临床医学处理、由物理治疗师指导恢复肢体运动功能的康复训练等，其中康复训练是运动障碍后遗症的主要治疗方法。

虚拟现实是利用计算机仿真系统创建的虚拟环境，虚拟环境将多源信息融合，产生可与用户交互的三维动态视景，使用户沉浸在虚拟环境中。近年来国际上出现了一系列将虚拟现实(virtual reality，VR)技术引入康复研究领域的尝试，将虚拟现实技术应用于脑卒中、脑外伤、帕金森等病人的上下肢运动功能恢复，及空间和认知能力的训练。

例如，Adamovich等利用数据手套、位置追踪器等设备研制虚拟康复系统，设计了击球、弹钢琴等场景。Broeren等利用力反馈装置，创建了包括识别乐谱和翻日历等日常生活康复场景在内的康复训练系统。Broeren等利用机器人和数据手套，通过迷宫等场景进行虚拟康复。Kayyali等利用位置追踪器和数据手套，设计了击球、插板等游戏场景进行虚拟康复训练。Badia等人根据摄像机和数据手套设计了虚拟击球等虚拟康复场景。清华大学提出了虚拟康复工程的概念，为了训练下肢运动功能，设计并研制了骑自行车的虚拟健身系统。

基于虚拟现实的康复系统通过动态调整技术，来适应患者和治疗者的需求变化。例如，VirtualRehab系统包含了9个用于治疗残疾障碍的康复游戏和训练集合，治疗师根据患者的参与反馈，手动调整训练场景。Kizony等人提供了一套虚拟康复系统，能够自适应调整目标类型、速度、位置以及方向，以促进患者康复训练进程。

用户与虚拟环境之间的反馈是双向的，一方面患者依据虚拟现实的反馈主动改变行为，另一方面，虚拟现实也根据患者的能力和状态，动态调节虚拟现实的反馈。

情绪是对一系列主观认知经验的通称，是基于多种感觉、思想和行为综合产生的心理和生理状态，既包括人对外界或自身刺激的心理反应，也包括伴随这种心理反应的生理反应。通过检测患者的情绪，并以此作为虚拟场景构建的依据，是一种非常重要的反馈机制。

情感计算作为精准医疗的重要技术手段，促进了虚拟环境控制方式的个性化，使人机交互更为友好和自然，常见的情绪识别方法依据信息来源的不同主要分为两大类：基于生理信号的识别和基于非生理信号的识别。基于生理信号的识别是指，通过测量心率、皮肤阻抗、呼吸等生理信号来识别对应的情绪状态，或者通过磁共振、脑电波等检测中枢神经反应来识别对应的情绪状态。基于非生理信号的识别，主要包括：对面部表情的识别和语音语调的识别。

现有技术中，将虚拟现实引入康复治疗领域的技术手段存在以下问题：