[发明专利]基于虚拟现实的孤独症早期筛查评估系统及方法

说明书

本发明公开了一种基于虚拟现实的孤独症早期筛查评估系统及方法，该系统包括：人物形象采集模块，用于采集被融入人物的语音、图像资料；真实融入模块，用于学习所述人物形象采集模块中的被融入人物的语音和图像形象，模拟合成试验场景中人物虚拟形象的图像和声音，并融入到虚拟现实的场景中；试验数据采集模块，用于采集试验过程中得用户的活动音频、视频、传感器数据；特征追踪模块，用于追踪用户在试验过程中的头部、眼部、手部、动作、位置、声音的特征信息；训练模块，用于根据特征追踪模块追踪分析获得的特征数据，通过机器学习方法，训练打分模型；预测模块，用于通过所述训练模型训练的结果预测用户的孤独症风险系数及试验的项目得分。

技术领域

本发明涉及孤独症筛查领域，具体地涉及到一种基于虚拟现实的孤独症早期筛查评估系统及方法，该系统融入真实人物，将真实人物的视觉、听觉形象融入多范式试验场景，使用一体化装置呈现虚拟现实试验场景，采集试验过程中用户身体活动的多模态数据，以对用孤独症谱系障碍进行评估。

背景技术

孤独症谱系障碍(autism spectrum disorder，ASD)简称孤独症，又称自闭症，是以社交互动障碍/社会交流障碍以及狭隘兴趣和重复刻板行为为主要特征的神经发育障碍性疾病。孤独症对患者的精神健康和行为健康影响甚大，严重影响患者的生活。如果未能早期发现并进行科学干预，孤独症对患者的致残率较高。目前，世界上对于孤独症的诊断主要采用标准化的手册和量表，对儿童进行行为分析。进过长期研究和积累，我国专家为中国孤独症儿童人群设计、研发完成了首个中国的标准化量表：中国孤独症诊断量表(ChineseAutism Diagnostic Scale,CADS)。CADS的测试总原则中，要求测试人员必须具有标准化心里测量的工作经验和对发育行为儿科学、儿童发展心理学、精神医学等专业知识的学习经验。

为了普及专业性强的标准化测试，降低标准化测试的人力成本，已经有不少学者投入到使用计算机辅助孤独症筛查和干预的研究中。其中，通过显示技术，标准化试验场景，对儿童进行诊断或干预的方案，已经得到了一些尝试。申请号为CN201810464235的专利提出一种融入真实人物形象的孤独症干预系统，以真实人物的视觉形象融入到普通动画的技术示范教学儿童对真实场景的正确反应，但是该方案主要针对人物头部形象的模拟，缺乏对真实人物全身形象及声音形象的模拟及融合，基于手机、电视等设备播放的普通动画效果不及虚拟现实技术的视觉效果更接近真实，并且该系统未搜集用户的反馈信息，未对用户的身体表现进行评价。申请号为CN201910099307的专利提出基于多模态信息的自闭症辅助诊断系统、设备及介质，将虚拟显示技术用于孤独症的诊断，然而该方案只标记了儿童的体征信息，局限于分析儿童的情绪维度，对于试验儿童的身体活动行为信息没有分析，标准的孤独症分析维度大幅度缺失，难以直观并全面地对儿童进行孤独症的诊断。

发明内容

针对上述技术问题，本发明的目的在于提供。一种基于虚拟现实的孤独症早期筛查评估系统及方法，该系统融入真实人物，将真实人物的视觉形象、听觉形象融入多范式试验场景，使用一体化装置提供实时互动的虚拟现实场景，

并采用标准化试验流程采集用户在试验过程中的多模态行为数据，按照学界标准多维度分析孤独症程度，对用孤独症谱系障碍进行评估。其中试验相关：包括用户(被评估的儿童)，被融入人物(模拟合成形象的原型，可为被评估儿童的父母或与其共同生活两周以上的人，也可为医生或其他专业人员)，虚拟合成人物(根据真实人物而模拟合成的虚拟形象)。

为实现上述目的，本发明是根据以下技术方案实现的：

一种基于虚拟现实的孤独症早期筛查评估系统，其特征在于，包括：

人物形象采集模块，用于采集被融入人物的语音、图像资料；

真实融入模块，利用深度学习技术提取人物形象采集模块采集所得的被融入人物的音视频特征，在虚拟现实的场景中模拟被融入人物的虚拟形象，并使其具有被融入人物的外貌和声音，并能使用被融入的外貌作出不同表情和动作，使用被融入声音说出不同语言；