[发明专利]自闭症谱系障碍混合现实康复训练系统及方法

权利要求书

1.一种自闭症谱系障碍混合现实康复训练系统，其特征是：包括：

投影模块，包括一鱼缸和投影仪，鱼缸具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；

交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；

场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；

多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练模块子提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供多个鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作；

在理解训练环节，根据手指点击位置是否位于非水生动物的坐标范围内进行判断，将每个非水生动物的世界坐标分别记为(x₁,y₁)，(x₂,y₂)，将其转换为屏幕坐标，记为(x_1.screen,y_1.screen)，(x_2.screen,y_2.screen)，将其屏幕坐标范围的半径大小设置为60像素点；获取当前手指点击的位置，记为(x,y)为屏幕坐标；如果一个动物(Abs(x-x_1.screen)≤60)∩(Abs(y-y_1.screen)≤60)，则判断手指点击的位置位于该动物的坐标范围内，即判断该操作成功；

在模仿训练环节，根据鱼类动物位置最终是否位于鱼篓的坐标范围内进行判断，首先添加每个需要拖拽的对象，如果从摄像机发出到点击坐标的射线经过某个对象，则该对象被点击，获得点击位置的世界坐标，计算点击位置与该对象世界坐标的偏移量，通过实时计算手指点击位置的世界坐标加上偏移量，即可实时得到被拖拽对象的世界坐标，从而实现手指拖拽；

将鱼篓的世界坐标记为(a_yulou,b_yulou)，转换为屏幕坐标，记为(a_yulou.screen,b_yulou.screen)，将其屏幕坐标范围的半径大小设置为100像素点；将被拖拽对象的世界坐标分别记为(a₁,b₁)，(a₂,b₂)，将其转换为屏幕坐标，记为(a_1.screen,b_1.screen)，(a_2.screen,b_2.screen)；如果一个拖拽对象(Abs(a_yulou.screen-a_1.screen)≤100)∩(Abs(b_yulou.screen-b_1.screen)≤100)，则判断该对象的位置位于鱼篓的坐标范围内，即该对象位于鱼篓中，则判断该操作成功。

2.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述红外边框触摸屏设置有红外触摸框，包括相互匹配的红外线发射与接收感测元件，在鱼缸的一个表面形成红外线探测网。

3.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述红外边框触摸屏通过自带的USB数据线与上位机相连接，在鱼缸表面使用手指触摸，触摸屏会响应手指触摸操作，将触摸响应及触摸位置传递给上位机，从而进行交互操作。

4.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述交互模块接收用户的点选或拖拽的触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给多维训练模块，多维训练模块将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。

5.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述场景渲染模块，还包括声音播放模块，被配置为在场景渲染时发出相应的动物的叫声或动作操作结果提示。