[发明专利]一种基于视觉注意理论的自适应下采样方法及装置

说明书

本发明提供一种基于视觉注意理论的自适应下采样方法及装置，该方法包括：通过全局光流法度量视频片段的表情变化量；通过离散余弦变换方法把视频片段的表情变化量转换到频域空间，获取频域上的表情信息量指标；根据频域上的表情信息量指标确定视频片段的下采样因子。本发明把时域的表情信息量转换到频域上，通过频率分析来获得自适应下采样因子，因此更好的模拟了人类的注意力，采样获取的表情帧表情表征能力更强，用于解决现有技术不适用于无峰值表情帧标注的连续自发式表情识别的技术问题。

技术领域

本发明涉及面部识别技术领域，尤其涉及一种基于视觉注意理论的自适应下采样方法及装置。

背景技术

一方面，面部表情识别在医疗、公共安全、人机交互等领域有着广泛的应用前景，因而其研究具有现实意义；另一方面，表情识别问题的解决涉及到图像处理、计算机视觉、优化理论等领域中的许多基本问题，例如图像配准、图像分割、图像特征提取、机器学习、最优化算法等，因而其研究具有重要的理论意义。动态连续自发式(spontaneous)表情识别相对于静态摆拍式(posed)表情识别，因其具有更大的研究挑战性和更高的应用价值，近年来，已经成为表情识别的研究重点。作为最新的自发式表情数据集，音视频情感挑战(Audio/Visual Emotion Challenge,AVEC)，收录了约150万帧视频，视频中脸部表情自然细微，数据集未对峰值表情帧进行标注。针对该数据集进行的国际比赛已经进行了多届，暴露出了现有特征表示模型在处理连续自发式表情时的许多不足。连续自发式表情数据集视频量巨大、变化形式多样，且无峰值表情帧标注，因此，其特征表示的核心任务是表情帧的自动提取。在表情帧的自动提取方面，启发式的下采样(down sampling)方法获得了更好的性能，但这类方法需要有峰值表情帧标注的配合，不适用于无峰值表情帧标注的连续自发式表情识别。

发明内容

本发明提供了一种基于视觉注意理论的自适应下采样方法及装置，该方法把时域的表情信息量转换到频域上，通过频率分析来获得自适应下采样因子，因此更好的模拟了人类的注意力，采样获取的表情帧表情表征能力更强，用于解决现有技术不适用于无峰值表情帧标注的连续自发式表情识别的技术问题。

本发明提供一种基于视觉注意理论的自适应下采样方法，包括：

通过全局光流法度量视频片段的表情变化量；

通过离散余弦变换方法把视频片段的表情变化量转换到频域空间，获取频域上的表情信息量指标；

根据频域上的表情信息量指标确定视频片段的下采样因子。

优选地，所述通过全局光流法度量视频片段的表情变化量具体包括：

通过全局光流法中的全局光流公式计算视频片段中每一帧的时间特征f(n)；

将视频片段的时间特征作为表情变化量，所述视频片段的时间特征为视频片段中每一帧的时间特征f(n)的集合；

优选地，所述全局光流公式为：

其中，ΔI_n(x)表示关于像素向量x的I_n和I_n-1两帧之间的光流。2是二级范数。

优选地，所述通过离散余弦变换方法把视频片段的表情变化量转换到频域空间，获取频域上的表情信息量指标具体包括：

通过离散余弦变换方法把视频片段的时间特征转换到频域空间，获取频域上的表情信息量指标

优选地，所述通过离散余弦变换方法把视频片段的时间特征转换到频域空间，获取频域上的表情信息量指标之前还包括：

通过直流偏移量去除公式将视频片段的时间特征的直流偏移量去除；

所述直流偏移量去除公式为：