[发明专利]基于虚拟现实的孤独症早期筛查评估系统及方法

权利要求书

1.一种基于虚拟现实的孤独症早期筛查评估系统，其特征在于，包括：

人物形象采集模块，用于采集被融入人物的语音、图像资料；

真实融入模块，利用深度学习技术提取人物形象采集模块采集所得的被融入人物的音视频特征，在虚拟现实的场景中模拟被融入人物的虚拟形象，并使其具有被融入人物的外貌和声音，并能使用被融入的外貌作出不同表情和动作，使用被融入声音说出不同语言；

试验数据采集模块，用于采集筛查评估试验过程中所得的用户的活动音频、视频和多项运动传感器数据；

特征追踪模块，用于追踪用户在筛查评估试验过程中的头部、眼部、手部、动作、位置、声音的特征信息；

训练模块，用于根据特征追踪模块追踪分析获得的特征数据，通过机器学习方法，训练打分模型；

预测模块，用于通过所述训练模型训练的结果预测用户的孤独症风险系数及试验的项目得分。

2.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述人物形象采集模块包括声音采集单元和图像采集单元：

所述声音采集单元，用于采集被融入人物的说话音频数据；

所述图像采集单元，用于采集被融入人物的多角度2D影像资料或采集含有RGBD的图像数据，以获得完整、立体的人物图像形象。

3.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述真实融入模块通过融入真实形象，提供接近真实的场景，包括声音合成单元和图像合成单元，其中，

所述声音合成单元利用成熟语音识别系统识别提供的音频得到相对粗糙的发音标注，通过人工校验得到音频对应的精准发音标注，最后将标注好的音频-标注对送入一个由标准音色训练好的语音合成模型，作特定说话人自适应训练，最终得到特定人音色的语音合成模型；

所述图像合成单元，根据提供的视频数据提取头部和动作的图像信息，通过深度学习方法将2D平面图像重建为3D立体图像，合成融入虚拟现实场景的虚拟合成人物活动图像。

4.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述试验数据采集模块的采集设备包括麦克风、腔内外摄像头、手柄或手套、陀螺仪、红外传感器、加速传感器、光电传感器，其中所述麦克风采集用户说话声音数据，腔内外摄像头采集用户面部活动数据，所述手柄或手套采集用户手部活动数据，红外传感器和/或腔内外摄像头配合采集用户眼睛活动数据，红外传感器和/或光电传感器配合采集手部精确位置数据，光电传感器和/或加速度传感器配合采集用户头部数据，加速传感器和/或陀螺仪配合采集用户位置数据。

5.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述特征追踪模块包括：

头部追踪单元，用于获取运动时头部朝向的三维变化；

眼动追踪单元，用于监控用户眼睛的运动并及时检测到用户的目光朝向；

面部表情追踪单元，用于获取并计算用户在使用中的面部表情数据；

动作追踪单元，用于获取用户在试验中的动作和姿态变化数据；

语音内容追踪单元，用于追踪用户在试验中说话的内容；

语音情感追踪单元，用于获取用户在试验中声音的情感分类；

位置追踪单元，用于通过传感器跟踪获取用户位置信息和方向信息的变化。

6.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述训练模块使用机器学习方法通过专业医疗人员对试验用户进行评价的分数的及用户的试验数据特征进行学习，训练出能够预测用户范式试验的分数、孤独症系数及不同分析维度分数的模型。

7.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述预测模块针对试验环节中的不同环节按照不同的权重影响一个或多个维度的分数，对用户的多范式分数进行打分。

8.根据权利要求7所述的孤独症早期筛查评估系统，其特征在于，所述打分维度包括动作语言模仿、感觉行为、刻板行为、语言理解、游戏行为、社交行为、语言表达中的任意一项或几项组合。