[发明专利]基于人机交互的孤独症早期筛查系统

权利要求书

1.基于人机交互的孤独症早期筛查系统，其特征是，包括：

数据采集模块，其被配置为：通过人机交互的方式采集受试者的交互动作视频与音频；

数据感知模块，其被配置为：对交互动作视频数据进行肢体骨干检测和肢体语言识别；对交互动作视频数据进行人脸人脸检测、人脸关键点检测和表情识别；对交互动作视频数据进行眼部关键点检测结合人脸关键点进行视线方向估计；对音频数据进行去噪和量化处理；对交互动作视频数据进行虹膜检测，根据虹膜尺寸进行人脸测距；

数据分析模块，其被配置为：根据交互场景指引与数据感知结果统计被试者的正确响应次数，对孤独症指数进行各项能力的评估；将测试过程中被试者产生的肢体语言正确性结果序列、表情正确性结果序列、眼神方向与屏幕显示目标物体的偏差值序列、社交距离与期望距离偏差值序列作为特征数据，基于训练后的神经网络模型，进行孤独症辅助诊断结果的预测；

数据输出模块，其被配置为：输出受试者的肢体语言能力、表情控制能力、眼神控制能力、音量控制能力和社交距离能力；并输出孤独症的早期筛查结果。

2.如权利要求1所述的基于人机交互的孤独症早期筛查系统，其特征是，所述对交互动作视频数据进行肢体骨干检测和肢体语言识别，具体包括：

从肢体运动数据中提取肢体特征关键点和手部特征关键点；采用Blaze Pose模型提取人体的肢体特征关键点，采用Blaze Plam提取人体的手部特征关键点；

将肢体特征关键点与手部特征关键点进行特征融合，得到融合特征；所述特征融合采用拼接方式进行特征融合；

将融合的特征输入到训练后的第一卷积神经网络中，输出肢体语言预测标签；

记录肢体语言预测结果的序列与要求模仿的标准肢体语言，当比对结果完全一致时，记为通过肢体语言模仿测试。

3.如权利要求1所述的基于人机交互的孤独症早期筛查系统，其特征是，对交互动作视频数据进行人脸人脸检测、人脸关键点检测和表情识别，具体包括：

从面部表情数据中进行人脸检测，将检测的到的人脸图像进行尺寸变换，其尺寸变换为48*48像素；

将人脸图像输入到训练后的第二卷积神经网络中，获得表情的预测结果；

记录表情预测结果的序列与要求模仿的标准表情，当比较结果完全一致时，记为通过表情模仿测试。

4.如权利要求1所述的基于人机交互的孤独症早期筛查系统，其特征是，所述对交互动作视频数据进行眼部关键点检测，结合人脸关键点进行视线方向估计；具体包括：

采用人脸检测算法Blaze Face进行面部网格检测，并且根据人脸关键点分离出眼部图像；

将眼部图像，输入到虹膜识别算法中，输出眼部轮廓估计结果和虹膜定位结果；

基于眼部轮廓坐标以及虹膜定位坐标，采用训练后的第三卷积神经网络预测受试者的眼睛看向屏幕的坐标位置；

记录预测的坐标位置与显示的目标物体位置的距离差序列，当距离差均小于设定像素时，表示受试者通过视线控制的测试。

5.如权利要求1所述的基于人机交互的孤独症早期筛查系统，其特征是，所述对交互动作视频数据进行虹膜检测，根据虹膜尺寸进行人脸测距；具体包括：

对虹膜定位结果计算直径；

从图像的可交换图像文件EXIF中获取焦距信息；

根据直径和焦距信息，计算人脸距离摄像头的距离。

6.如权利要求1所述的基于人机交互的孤独症早期筛查系统，其特征是，根据交互场景指引与数据感知结果统计被试者的正确响应次数，对孤独症指数进行各项能力的评估；具体包括：

根据场景的交互过程，按照肢体语言交互的完成程度、表情交互完成程度、眼神交互完成程度、对话音量控制情况、社交距离控制情况统计各项能力得分。

7.如权利要求1所述的基于人机交互的孤独症早期筛查系统，其特征是，所述通过人机交互的方式采集受试者的交互动作视频与音频；具体包括：

通过人机交互的方式采集受试者的肢体运动数据，通过屏幕播放虚拟人物的指定肢体动作，播放语音以引导受试者模仿，通过摄像头采集受试者对虚拟人物的肢体动作的模仿视频。