[发明专利]基于视频回溯的连续情绪标注方法、系统和电子设备

说明书

本发明实施例提供一种基于视频回溯的连续情绪标注方法、系统和电子设备。该方法包括：利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集被试者观看诱发素材时的脑电信号；通过特征提取模块从脑电信号确定线性平滑的连续脑电特征；利用视频回溯模块引导被试者主动对诱发素材的回溯视频进行情绪诱发的连续打分标注，情绪标注模块记录被试者标注与诱发素材时间对应的情绪诱发程度；基于连续脑电特征以及情绪诱发程度确定诱发素材的连续情绪标注。本发明实施例采用连续情绪标注方法使情绪与视频实时对应，连续情绪标签可以反馈被试情绪的连续波动，使确定的情绪标签更加准确，降低情绪标注的误差。

技术领域

本发明涉及情感脑机接口技术领域，尤其涉及一种基于视频回溯的连续情绪标注方法、系统和电子设备。

背景技术

情绪是人类日常生活中重要的组成部分，它能反映人的认知状况、影响人的心理、行为。随着人工智能领域和人机交互的飞速发展，有更多领域的更加人性化的智能助手来辅助人们的生活。为了进一步提高使用体验，会让智能助手具有理解人类情绪的能力。为了使其能够学习到人类在不同状态下的情绪，就需要足够的人类在不同状态下的带有情绪标注的脑电信号来学习，其中，脑电信号是人类重要的中枢神经系统的生理信号，且具有较强的情绪表征能力。

通常利用情绪诱发来获取人们的带有情绪的脑电信号，其中，情绪诱发是社会心理学实验中利用情绪诱发素材激活被试人的相应情绪。通常会让被试者观看视频或图片，在观看的过程中采集被试者的脑电及其他模态的生理信号。被试者在观看完一段视频素材后通过问卷量表填写对于视频素材的主观感受，一般只记录一个分值。这个分值或这段视频本身自带的标签属性将作为整段脑电及其他生理信号数据对应的标签，例如，给被试者观看快乐情绪的视频，被试者观看完视频后的主观感受评价的分值较高，此时将被试者观看快乐情绪的视频的脑电信号标注为快乐情绪标签。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

对于一段视频来说，使用单一情绪离散标签概括3-5分钟的情绪变化，由于人在观看视频的过程中并不会始终保持相同的情绪，这会导致部分数据的标签错误或分数误差较大。即只有在部分时间段中，给出的离散标签才能代表被试的情绪状态，其他时间的情绪状态则不能使用这个离散标签进行描述。而使用一次性的效价、唤醒度、优势度打分，同样会导致很大一部分的真实情绪状态的分数误差较大。这些方式都将直接导致模型的输入数据存在较多的标签噪声，从而使模型不能够学习到数据中和情绪相关的部分。具体的，视频可能并不只会给人们带来一种情绪，例如“气到发笑”、“乐极生悲”、“感动到哭”的视频。假设被试者观看快乐情绪标签的“过年”视频，理想情况下，被试者此时的脑电信号的情绪标注应该为快乐情绪。在“过年”视频播放过程中，被试者感受到了过年的喜庆和快乐，然而在“过年”视频的结尾部分，视频进行了感情升华，此时被试者不幸因某些原因没有回家过年，无法与家人团聚，此时一丝辛酸悲伤涌上心头。此时被试者的脑电信号中既有快乐情绪，又有在结尾部分的悲伤情绪。如果将该脑电信号标注为快乐情绪标签是不准确的，利用情绪标签不准确的脑电信号训练的模型也难以准确识别人类情绪，使模型的学习能力较低。

发明内容

为了至少解决现有技术脑电信号情绪标注的问题。第一方面，本发明实施例提供一种基于视频回溯的连续情绪标注方法，包括：

利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集所述被试者观看所述诱发素材时的脑电信号；

通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；

在所述被试者观看所述诱发素材结束后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，通过情绪标注模块记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度；

基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。