[发明专利]虚拟场景下的实时人机交互系统

说明书

一种虚拟场景下的实时人机交互系统，包括：用于突变检测的视觉注意区域预测模块和基于视觉注意区域特征的行为预测模块，其中：视觉注意区域预测模块接受输入视频帧序列并依次进行目标信息检测、平滑运动检测以及突变信息检测并得到视觉显著图，对视觉显著图进行视觉注意区域提取得到注意区域图；行为预测模块对用户视觉区域与视频内容进行特征后利用特征对用户行为进行预测。本发明通过输入用户观测到的视频内容，预测用户观测到视频后的反馈行为，能够在场景中存在突变的情况下能够较好地运行同时也能够应对平滑变化的场景。

技术领域

本发明涉及的是一种人机交互领域的技术，具体涉及一种虚拟场景下的实时人机交互系统。

背景技术

当前在人机交互领域已经提出了诸多用户行为预测算法，但是这些算法多基于用户先前的操作进行简单重复，忽略了用户观察到的场景内容对用户行为的影响。并且用于检测用户对场景内容的关注度的用户视觉注意力的研究多针对于场景中的平滑的变化，这样导致了在场景内容出现突变的情况下这些视觉注意模型会出错。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于用户视觉内容的行为预测交互系统，通过输入用户观测到的视频内容，预测用户观测到视频后的反馈行为，能够在场景中存在突变的情况下能够较好地运行同时也能够应对平滑变化的场景。

本发明是通过以下技术方案实现的：

本发明包括：用于突变检测的视觉注意区域预测模块(Mutation Detection GazePosition Prediction，MDGPP)和基于视觉注意区域特征的行为预测模块(Visual ContentBased Motion Prediction，VCBMP)，其中：视觉注意区域预测模块接受输入视频帧序列并依次进行目标信息检测、平滑运动检测以及突变信息检测并得到视觉显著图，对视觉显著图进行视觉注意区域提取得到注意区域图；行为预测模块对用户视觉区域与视频内容进行特征后利用特征对用户行为进行预测。

所述的视觉注意区域预测模块包括：目标检测单元、平滑运动检测单元、突变检测单元、显著图生成单元和特征提取单元，其中：目标检测单元通过输入当前帧画面，利用YOLO v3对画面中的目标信息提取特征；平滑运动检测单元通过接受连续帧视频图像与目标检测单元输出的特征图，将其利用光流法提取运动目标的平滑运动光流，并对场景中运动部分的平均运动速度进行提取；突变检测单元通过接受连续三帧视频图像，利用SURF特征点检测算法提取视频场景内容中的特征点并从中提取出突变信息；显著图生成单元根据得到视频中的目标特征、平滑运动特征与突变特征后，通过上采样对特征图进行放大处理后得到视觉显著图；特征提取单元采用分水岭算法对得到的视觉显著图进行分块，对分得的每一块的亮度均值与方差进行计算后，找到最能够吸引用户视觉注意的区域，提取其带权亮度中心最为用户视觉注意区域的中心位置，得到视觉注意区域图。

所述的突变信息包括：运动突变与颜色突变，其中：运动突变是指运动的速度突然发生改变，包括速度的大小发生改变以及方向发生改变；颜色突变是指当前颜色未在先前帧中出现过。

所述的突变检测单元通过比较当前帧中特征点的实际位置与通过前两帧进行预测的特征点位置，并利用平滑运动检测单元输出的平均速度对用户对运动突变的感知能力进行自适应建模。

所述的突变检测单元通过引入队列存储特征点在先前帧中的颜色信息，逐帧对当前帧中该特征点颜色信息利用颜色矩进行比对，当该颜色不存在队列中，则认为该处存在颜色突变。对于颜色信息，由于人对不同频率的颜色的感知能力不同，所以对于颜色变化的感知也不同，因此突变检测单元引入了人眼对比敏感度函数对人眼的颜色感知能力进行建模，以此检测出符合人眼视觉特征的颜色突变。