[发明专利]利用非词语性身体符号评价语言阅读能力的方法及设备

说明书

本发明提供了一种利用非词语性身体符号评价语言阅读能力的方法及设备，所述方法包括，通过多视觉机器视觉技术，获取目标对象的非词语性身体符号的视频数据，并将非词语性身体符号的视频数据转化为三维数据文件并分类存储；对目标对象的非词语性身体符号的特异性特征进行识别，并对目标对象的非词语性身体符号的特异性特征进行分类和标注；将目标对象的非词语性身体符号的特异性特征输入数据映射规则模型中进行分类、解构及分析；通过映射非词语身体符号评价标准，得到目标对象的语言阅读能力与表达能力。本发明的有益效果在于：能够从行为角度分析评价儿童的语言阅读能力与表达能力，从而建立儿童语言阅读障碍早期行为筛查的标准。

技术领域

本发明涉及视觉识别技术领域，尤其是指一种利用非词语性身体符号评价语言阅读能力的方法及设备。

背景技术

狭义的语言指的是人类经大脑意识加工后所表达出的自然语言，而广义的语言是指生物同类之间采用一套具有共同处理规则来进行表达的沟通指令，指令会以视觉、声音或者触觉方式来传递。大量研究发现，人与人日常交流过程中超过80％的信息是通过非词语性身体符号来进行传递的，这些非词语性身体符号包括目光与面部表情、身体运动与触摸、姿势与外貌、身体的空间距离等。

非词语性身体符号是由人的身体运动引起的，本身可以传递许多信息。如姿势是个体运用身体或肢体动作表达某种情感及态度的体语，而眼睛可以反映人的情绪、态度和情感变化，面部借助数十块肌肉的运动来准确传达不同的心态和情感，身体的触摸常常用来表达某些强烈情感。非词语性身体符号是聋哑人非常重要的沟通交流手段，这种信息传递方式也更容易被理解和认知。随着研究深入，非词语性身体符号在测谎、审讯、表演、教学过程中均有重要的应用价值。研究发现，具有语言障碍的儿童对语言的理解、表达及应用的能力偏离正常，因不能把事情说清楚，喜欢用手势表达自己的意思，或过多地说不合句法的话，甚至出现焦虑、退缩、注意短暂、多动或违拗等行为特征。根据小脑缺陷理论的神经学研究发现，阅读障碍儿童表现出各种各样的运动缺陷，如整体动作笨拙、平衡和协调能力较差等行为特点。自闭症儿童会出现很多特异性的非词语性身体符号特征，这些特征可以成为自闭症儿童早期预警和诊断的指标。在教育教学过程中，非词语性身体符号的有效利用，能够将课堂知识更生动地传递和实施，让学生更好地理解及表达，同时也可以成为教师捕捉分析学生学习状态和学习能力的有效辅助工具。

经对现有技术的文献检索发现，若将“非词语性身体符号”作为关键词进行检索，尚未与本发明主题相同或者类似的文献报道。若将“非词语性身体符号”以“肢体语言”进行替代检索，中国科学院自动化研究所南京人工智能芯片创新研究院《一种基于深度学习的肢体语言检测与行为分析方法及系统》提出了一种基于深度学习的肢体语言检测与行为分析方法及系统。通过对目标的行为视频、图片以及语音进行提取，分别获取目标在不同情绪下的面部表情以及四肢行为的图片及视频，获取在相应情绪下的语音数据，丰富数据集，予以标注后制作成训练集，这种方法拥有较强的主动学习能力，并不断优化数据库，使得准确率能够随着识别次数的增加不断提升。广州视觉风科技有限公司《一种人体肢体语言识别方法及系统》公开了一种人体肢体语言识别系统，通过关键点检测器识别并标记出身体特点的部位，帮助身体跟踪算法了解不同角度下每个姿势的表现，通过设计的报警模块，用于对识别的可疑人体肢体语言的人进行声报警或短信报警，及时识别可疑人物，达到预防犯罪的目的。广州凡拓数字创意科技股份有限公司《一种人体肢体语言识别方法及系统》构建虚拟世界环境，基于Kinect摄像头获取人体的肢体特征点，根据肢体特征点构建肢体语义集合。以上文献仅仅是构建了一种人体肢体语言识别方法，这种肢体语言的数据采集与分析也存在很多替代性方案，并且文献没有涉及在特定的应用场景的落地研究。