[发明专利]基于视频嵌入的视频人脸检索方法及系统

说明书

本公开提出了基于视频嵌入的视频人脸检索方法，包括：获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；对视频图片序列中的每张静态图片进行处理，先获得特征向量，然后进行相邻图片特征的部分特征偏移操作，获得序列特征；对得到的序列特征进行融合提取关键帧的特征信息；对提取的每个人的图片序列映射的特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解。对中间特征进行时序偏移，对时序偏移操作采用一种固定卷积参数的卷积实现，本发明方法检索精度高、速度快、帧间特征利用充分，有效的解决了视频人脸检索的帧间信息利用不充分问题。

技术领域

本公开属于视频人脸检索技术领域，尤其涉及基于视频嵌入的视频人脸检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

对于视频人脸检索主要是将视频分成一帧一帧的图片进行处理，然后将这些图片看成视频的集合中的各个点，进行检索的时候主要是比较两个集合的相似性。对于集合相似性的比较主要有基于浅层特征的线性子空间的方法、非线性流形的方法、基于凸包的方法以及概率模型的方法。

对于线性相关分析主要采用典型相关分析找出集合中最具代表性的特征点进行集合间的相似性度量。在大多数基于视频的场景中存在姿势、光照、表情等的变化，这种变化多少非线性变化，所以为了解决典型相关分析不能解决非线性变化的问题，采用非线性流形的方式去表达视频中的人脸特征，在流形空间进行集合和集合的比较。

在真实的场景中，监控视频序列通常非常短，但是涵盖了大量的复杂的数据变换。为了解决这个问题采用基于凸包的方式去建模视频数据，这个方法对位置的变化是不敏感的。概率模型有着对集合数据分布表示的天然优势，所以对于视频数据采用精心设计的概率密度函数进行表示分布，通过协方差矩阵去进行集合之间的分类。还有一些通过深度学习的方式去表达静态图像特征然后再应用上述的方法进行视频集合间的分类问题。但是这种方法不是端到端的，也没有充分利用相邻帧间的信息，不能充分的表达视频特征。

发明内容

为克服上述现有技术的不足，本公开提供了基于视频嵌入的视频人脸检索方法，能够充分利用相邻帧间的信息。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

第一方面，公开了基于视频嵌入的视频人脸检索方法，包括：

获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；

对视频图片序列中的每张静态图片进行处理，先获得特征向量，然后进行相邻图片特征的部分特征偏移操作，获得序列特征；

对得到的序列特征进行融合提取关键帧的特征信息；

对提取的每个人的图片序列映射的特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解；

检索时基于训练出的神经网络的模型，对视频进行一个嵌入到设定维特征的提取，之后对提取后特征与要检索的视频特征进行一个相似度的计算，选择相似度得分最高的几个特征，进而返回该特征所代表的视频片段。

进一步的技术方案，多个不同人的视频图片序列中，每个人图片序列中包含从该人视频图片序列中随机选出的设定张静态图片，每个人包含两个图片序列，以此来构成正例对，不同的人的图片序列构成反例对。

进一步的技术方案，利用卷积神经网络对视频图片序列进行处理，首先对视频数据进行解码处理，将一段视频变成一系列静态图像，然后采用卷积神经网络对静态图像提取特征，主要包括卷积、批量归一化、池化以及非线性激活函数操作，对中间特征进行时序偏移。

进一步的技术方案，对时序偏移操作采用一种固定卷积参数的卷积实现。