[发明专利]一种智能识别与追踪系统

说明书

本发明公开了一种智能识别与追踪系统，该系统通过摄像头捕获指定场景下的图像信息，接收来自用户的人物框选，识别框选的人物目标，并对后续视频流逐帧处理，根据偏移信息控制电机带动摄像头转动，使框选中的目标追踪人物始终处于画面中央。本发明解决了现有技术中消耗大量人力和物力完成舞台直拍所带来的问题；并且该追踪系统可以实时使用，平均帧速率大约为15fps，适用于指定场景下的指定目标人物的识别与追踪。本发明在基于MTCNN模型和FaceNet模型完成人脸识别的基础上，通过使用追踪器和串口通信的方法，控制摄像头跟随目标追踪人物移动，实现了对指定人物目标的识别与实时追踪。

技术领域

本发明涉及视频分析领域，尤其涉及一种智能识别与追踪系统。

背景技术

随着计算机的普及和科学技术的发展，计算机视觉正逐渐成为最热门的研究领域之一。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。而计算机视觉领域中的目标追踪所做的工作就类似于人的眼睛，据统计，人类接收到的外界信息中，大约有百分之八十都是通过眼睛直接获得的，然而人的眼睛的工作能力毕竟是有限的，面对纷繁复杂的信息，人类视觉在各领域的发展都受到限制，因此目标追踪技术在各领域都有着广泛应用。

近年来，随着网络的普及，各种偶像养成类真人秀节目层出不穷，热力非凡。各大视频平台随之推出了自己的选秀节目，通过各种各样的节目平台，不少实力强劲的选手被观众熟知，但是面对数量繁多的参赛选手，一千个人眼中有一千个哈姆雷特，不同观众对不同参赛选手的喜爱程度也不同。碍于时间的限制或者兴趣使然，观众只想观看或想重复观看某位参赛选手的表演视频，舞台个人直拍应运而生。

直拍是一个饭圈用语，意思是在男女团表演的时候单独只拍摄某一个人的全程。在现有技术中，直拍方式主要有两种，其一是让选手分批表演录制，其二是为每位选手单独配置专门的机器，然而这两种方式前者耗时后者耗力。因此，如何减少舞台直拍中的时间和人力消耗成为目前亟待解决的技术问题。

发明内容

本发明针对上述技术问题，提供了一种智能识别与追踪系统。该智能识别与追踪系统在获得原始目标追踪人物后，可对原始目标追踪人物进行识别，并且后续过程不需要人为干预即可完成对指定的原始目标追踪人物的追踪任务。

本发明提出了一种智能识别与追踪系统，该智能识别与追踪系统包括人脸数据集制作模块、人脸识别模块、人物追踪模块和硬件模块。

其中人脸数据集制作模块用于提供人物信息。通过使用MTCNN模型(多任务卷积神经网络，Multi-task convolutional neural network)对大量包含人脸的图片(若应用场景为选秀节目，则图片为各参赛选手的若干图片)进行识别、裁剪和对齐，将识别、裁剪和对齐后的人脸图片手动分类到相应类别的文件夹下(若应用场景为选秀节目，则分类是指将同一名参赛选手的若干图片放到该参赛选手姓名对应的文件夹下)，再用FaceNet模型对分类好的图片进行embedding(即嵌入，该过程表示一种映射，用一个低维的向量表示一个物体，使距离相近的向量对应的物体有相近的含义)，得到每一类图片的embedding特征向量(每一类图片生成一个对应的embedding特征向量，一个类中的图片越多，得到的embedding特征向量的准确性就越高)，由此得到人脸数据集，为后续人脸识别提供人物的相关信息。

接收到来自摄像头的视频流后，用户可发送截取信号(可以采用多种方式，如鼠标单击画面一次或者键盘键入指定字符等，在本发明中，优选键盘键入select的首字母“s”来截取当前帧)选定视频中所需的一帧图像，在选定帧中框选得到原始目标追踪人物。