[发明专利]虚拟场景下的实时人机交互系统

权利要求书

1.一种基于用户视觉内容的行为预测交互系统，其特征在于，包括：用于突变检测的视觉注意区域预测模块和基于视觉注意区域特征的行为预测模块，其中：视觉注意区域预测模块接受输入视频帧序列并依次进行目标信息检测、平滑运动检测以及突变信息检测并得到视觉显著图，对视觉显著图进行视觉注意区域提取得到注意区域图；行为预测模块对用户视觉区域与视频内容进行特征后利用特征对用户行为进行预测；

所述的突变信息包括：运动突变与颜色突变，其中：运动突变是指运动的速度突然发生改变，包括速度的大小发生改变以及方向发生改变；颜色突变是指当前颜色未在先前帧中出现过；

所述的视觉注意区域预测模块包括：目标检测单元、平滑运动检测单元、突变检测单元、显著图生成单元和特征提取单元；

所述的注意区域图，采用分水岭算法对得到的视觉显著图进行分块，对分得的每一块的亮度均值与方差进行计算后，找到最能够吸引用户视觉注意的区域，提取其带权亮度中心最为用户视觉注意区域的中心位置从而得到。

2.根据权利要求1所述的基于用户视觉内容的行为预测交互系统，其特征是，所述的目标检测单元通过输入当前帧画面，利用YOLO v3对画面中的目标信息提取特征；平滑运动检测单元通过接受连续帧视频图像与目标检测单元输出的特征图，将其利用光流法提取运动目标的平滑运动光流，并对场景中运动部分的平均运动速度进行提取；突变检测单元通过接受连续三帧视频图像，利用SURF特征点检测算法提取视频场景内容中的特征点并从中提取出突变信息；显著图生成单元根据得到视频中的目标特征、平滑运动特征与突变特征后，通过上采样对特征图进行放大处理后得到视觉显著图；特征提取单元采用分水岭算法对得到的视觉显著图进行分块，对分得的每一块的亮度均值与方差进行计算后，找到最能够吸引用户视觉注意的区域，提取其带权亮度中心最为用户视觉注意区域的中心位置，得到视觉注意区域图。

3.根据权利要求2所述的基于用户视觉内容的行为预测交互系统，其特征是，所述的突变检测单元通过比较当前帧中特征点的实际位置与通过前两帧进行预测的特征点位置，并利用平滑运动检测单元输出的平均速度对用户对运动突变的感知能力进行自适应建模；通过引入队列存储特征点在先前帧中的颜色信息，逐帧对当前帧中该特征点颜色信息利用颜色矩进行比对，当该颜色不存在队列中，则认为该处存在颜色突变，对于颜色信息，由于人对不同频率的颜色的感知能力不同，所以对于颜色变化的感知也不同，因此突变检测单元引入了人眼对比敏感度函数对人眼的颜色感知能力进行建模，以此检测出符合人眼视觉特征的颜色突变。

4.根据权利要求2所述的基于用户视觉内容的行为预测交互系统，其特征是，所述的行为预测模块将得到注意区域图后其于视频当前帧进行叠加后进行用户行为预测，具体为：利用卷积神经网络对输入的视觉注意区域图和当前视频帧进行特征提取，将提取得到的向量与目标检测单元得到的目标信息进行叠加得到含有目标信息的特征向量，之后将该特征向量利用长短时记忆网络进行视频片段分类，将分类得到的结果作为用户的反馈行为。

5.根据权利要求4所述的基于用户视觉内容的行为预测交互系统，其特征是，所述的卷积神经网络经训练转换为脉冲神经网络(SNN)并用于将视觉注意区域图与当前视频帧先进行脉冲化后通过网络进行特征提取，之后利用SNN化的LSTM对用户行为进行预测以实现交互。

6.根据权利要求2或3所述的基于用户视觉内容的行为预测交互系统，其特征是，所述的突变检测单元包括：运动突变检测器以及颜色突变检测器，运动突变检测器则接受平滑运动检测单元提供的场景当前时刻平均运动速度作为判断突变的权值以及目标检测单元提供的目标区域包围盒增强其速率变化敏感度。