[发明专利]一种基于视频数据的用户人格识别方法

说明书

本发明公开了一种基于视频数据的用户人格识别方法，包括步骤S001，收集用户在线社交网络的文本数据记忆用户在线行为，步骤S002，对于文字数据要先进行文字的预处理，去除特定的无用符号、数据中非文本部分以及无效的文字，提炼出有效文字和可以表达情感的表情，对于文字部分进行中文分词，将一段文字分开成符合语义的单一词语，达到电脑自动识别语句含义的效果，对于表情类的部分，先做标记与关联的内容，下一步将对其详细处理等。本发明针对特征分析和识别结果，系统可生成专业分析报告，根据识别出的人格，进行内容个性化推荐。

技术领域

本发明涉及适用于人格识别技术领域，具体涉及基于视频数据的用户人格识别方法。

背景技术

据研究显示，中国仅10％左右的人能达到心理健康的状态，70％以上的人早已处于心理亚健康而不自知。据调查，随着心理学知识的不断普及，95％的人愿意接收心理学治疗以及学习心理学知识了解自己。

人格心理学便是在心理学中有举足轻重的地位，但在人格心理学领域中，人格测试、儿童气质测试等都需要大量的题目让人去回答，然后进行统计分析，得出结论，需要耗费大量的时间，而且不同类型测试存在一定的误差，所以如何快速判断用户人格是行业内新出现且亟待解决的问题。

发明内容

针对相关技术中的问题，本发明提出一种基于视频数据的用户人格识别方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种基于视频数据的用户人格识别方法，包括以下步骤，步骤S001，根据人格测试知识，设计并用户行为视频采集方案，根据方案视频数据采集，并进行五大人格测试得到分数；

步骤S002，对视频在时间流上，数据主要分为图片和语音两个信息载体，分别进行数据处理，并对图片和语音进行特征提取，创建回归或分类模型；

步骤S003，划分多个测试集、验证集进行模型训练，并在测试集中判断模型的鲁棒性；

步骤S004，选择鲁棒性最好的模型，对用户进行识别人格，并且生成专业报告，让用户充分的了解自己的人格，以及产生的行为信息。

优选的，步骤S002中具体对语音进行数据处理时，首先对语音进行情景对齐，然后生成时域和频域特征，即起音时间、过零率等时域特征，同时对语音进行MFCC特征提取。

优选的，步骤S002中的具体对视频图像处理时，首先对视频进行每秒提取25张图片，然后对每张进行数据处理，并读入图片到矩阵当中。

优选的，在步骤S002中，对每张进行数据处理包括无效图片筛选、图片模糊需增强等基础计算。

优选的，步骤S002中，针对语音和图像分别创建卷积神经网络模型，并根据开源训练好的SOTA模型权重，使用迁移学习、蒸馏方法，构建语音和图像针两个特定模型，然后对语音提取的MFCC特征和每张图片进行训练，提取深度特征。

优选的，步骤S002中的模型构建具体为利用语音和图像提取的深度特征，再后利用循环神经网络，对语音和图像在前后的时间线上，进行特征提取并进行计算，取得时间上的关联性，以及周围的变化，最后结合不同年龄、地区等分布进行模型构建。

优选的，步骤S003中，利用测试集、验证集进行模型训练，进而训练回归模型，利用均方误差进行评分，得到交叉验证交叉验证后的平均结果，判断模型拟合能力，然后利用测试集去判断模型的鲁棒性，最终选出鲁棒性最好的结果模型为最终模型。

优选的，步骤S004中的人格分析报告生成步骤具体为，针对模型特征和结果，人格心理学家会进行专业分析，生成相关规则，利用此规则，人格识别系统会自动化生成人格分析报告。

与现有技术相比，本发明的有益效果为：