[发明专利]一种基于计算机视觉的巡逻机器人和安防系统

权利要求书

1.一种基于计算机视觉的安防系统，其特征在于，所述安防系统包括：巡逻机器人、安防服务器以及多个监控摄像头；

所述机器人包括：处理模块、通信模块、拍摄模块、驱动模块以及告警模块；

当所述巡逻机器人处于巡逻状态期间，所述处理模块用于控制所述驱动模块，使所述驱动模块将所述巡逻机器人行驶至幼儿园的监控摄像头的监控盲区；

所述处理模块还用于通过所述通信模块接收所述幼儿园的安防服务器所发送的第一拍摄指令，所述第一拍摄指令是在以下情况下生成的：所述安防服务器判断出所述巡逻机器人行驶出所述监控摄像头的监控范围后，所述安防服务器生成所述第一拍摄指令；

所述处理模块响应于所述第一拍摄指令，控制所述拍摄模块开始拍摄巡逻视频，并控制所述通信模块将所述巡逻视频传输给所述安防服务器；

巡逻机器人中还预设有人脸识别算法，以及预设了幼儿园各个工作人员的人脸特征向量；巡逻机器人在检测到人像时，可以调用人脸识别算法，计算人像的人脸特征向量；并将计算出的人脸特征向量，与幼儿园各个工作人员的人脸特征向量进行一一比较，从而判断检测到的人像是否属于幼儿园的一个工作人员；

所述处理模块还用于从所述巡逻视频中获取多个视频帧，并针对获取的每个视频帧进行人像检测，以及在检测到人像的情况下，对人像进行人脸识别操作，以判断视频帧中的人像是否属于所述幼儿园的工作人员；

在视频帧中的人像不属于所述幼儿园的工作人员的情况下，所述处理模块控制所述告警模块发出第一类告警，以对不明身份的人员进行驱离；

在从视频帧中检测到人像，但是每个视频帧中的人像均人脸识别失败的情况下，所述处理模块控制所述告警模块发出第二类告警，以提示监控盲区的人员主动面向所述巡逻机器人，以辅助所述巡逻机器人进行人脸识别；

所述处理模块中预先配置了多个监控盲区，在所述巡逻机器人处于巡逻状态期间，所述处理模块控制所述驱动模块按照预设顺序，将所述巡逻机器人依次行驶至各个监控盲区，依次对各个监控盲区进行巡逻；巡逻机器人中预先配置了幼儿园的电子地图，电子地图中标记了每个监控盲区的位置；巡逻机器人通过导航技术，依次前往电子地图中的每个监控盲区；

安防服务器预先训练了一个机器人检测模型，该机器人检测模型专门用于检测图像中的巡逻机器人；

该机器人检测模型的训练方式如下：搜集多张包含有巡逻机器人的样本图像，在每张样本图像中标记出巡逻机器人的位置，将每张样本图像和巡逻机器人的位置信息输入预设模型中，从而对预设模型进行训练；最后，将训练完成的预设模型确定为机器人检测模型，专门用于检测图像中的巡逻机器人；巡逻机器人的处理模块在从巡逻视频中获取到每个视频帧后，将视频帧输入预先训练的人像检测模型，从而检测该视频帧中是否包含人像；

所述处理模块还用于通过所述通信模块接收跟踪指令，所述跟踪指令是在以下情况下生成的：所述幼儿园的任一监控摄像头拍摄到人像，且所述安防服务器确定该人像不属于所述幼儿园的工作人员时，所述安防服务器生成所述跟踪指令，所述跟踪指令携带该监控摄像头的编号和所述人像的特征向量；

所述处理模块响应于所述跟踪指令，从巡逻状态切换为跟踪状态，并根据跟踪指令携带的监控摄像头编号，控制所述驱动模块，将所述巡逻机器人行驶至相应的监控摄像头；巡逻机器人的处理模块接收到安防服务器发送的跟踪指令后，从巡逻状态切换至跟踪状态；切换至跟踪状态后的巡逻机器人，将暂时不再对各个监控盲区一一进行巡逻；

与此同时，幼儿园的各个监控摄像头持续拍摄监控视频，安防服务器每隔预设时间,从各监控摄像头正在显示的监控视频中提取一个视频帧；并将每个视频帧输入机器人检测模型，从而通过机器人检测模型检测每个视频帧中是否包含巡逻机器人；如果某一个视频帧中包含巡逻机器人，则安防服务器进一步将该视频帧输入人像检测模型，从而通过人像检测模型检测该视频帧中是否包含人像；如果该视频帧中包含人像，则剪裁出人像所在区域，并对剪裁出的区域进行卷积和池化，从而得到人像的特征向量；最后将得到的特征向量与需要被跟踪的人像的特征向量进行相似性比较，如果两者的相似性达到预设条件，则确定视频帧中的人像为需要被跟踪的人像；从而进一步确定出：巡逻机器人和需要被跟踪的人已经同处于一个监控摄像头的监控范围内；

其中，在比较两个特征向量的相似性时，可以计算两个特征向量之间的向量距离；如果两个特征向量之间的向量距离低于预设阈值，则确定视频帧中的人像为需要被跟踪的人像；

所述处理模块通过所述通信模块接收所述安防服务器发送的第二拍摄指令，所述第二拍摄指令是在以下情况下生成的：所述安防服务器判断出所述巡逻机器人行驶至人像所在的监控范围后，所述安防服务器生成所述第二拍摄指令；

所述处理模块响应于所述第二拍摄指令，控制所述拍摄模块开始拍摄跟踪视频，并从所述跟踪视频中获取视频帧，以及对获取的视频帧进行人像检测；

在检测到人像的情况下，确定人像的特征向量，并将该特征向量与跟踪指令中的特征向量进行相似性对比，如果相似性超过预设阈值，则对该人像进行跟踪；

所述处理模块还用于通过所述通信模块接收所述安防服务器发送的状态切换指令，所述状态切换指令是所述安防服务器在以下情况下生成的：所述安防服务器判断出所述被跟踪的人像离开所述幼儿园出口的监控摄像头的监控范围之后，生成所述状态切换指令；

所述处理模块响应于所述状态切换指令，从跟踪状态切换为巡逻状态，并针对上一次巡逻状态期间即将巡逻的监控盲区继续进行巡逻；

所述监控摄像头与所述安防服务器通信连接，用于将拍摄的监控视频发送给所述安防服务器；

所述安防服务器针对每个监控摄像头，根据该监控摄像头发送的监控视频，检测该监控视频中是否包含所述巡逻机器人的图像，如果不包含，则确定所述巡逻机器人行驶出该监控摄像头的监控范围；

所述安防服务器判断出所述巡逻机器人行驶出所有监控摄像头的监控范围后，所述安防服务器生成所述第一拍摄指令，并将所述第一拍摄指令发送给所述巡逻机器人；

所述巡逻机器人响应于所述第一拍摄指令，开始拍摄巡逻视频，并将拍摄的巡逻视频发送给所述安防服务器；

所述巡逻机器人还从所述巡逻视频中获取多个视频帧，并针对获取的每个视频帧进行人像检测，以及在检测到人像的情况下，对人像进行人脸识别操作，以判断视频帧中的人像是否属于所述幼儿园的工作人员；

在视频帧中的人像不属于所述幼儿园的工作人员的情况下，所述巡逻机器人发出第一类告警，以对不明身份的人员进行驱离；

在从视频帧中检测到人像，但是每个视频帧中的人像均人脸识别失败的情况下，所述巡逻机器人发出第二类告警，以提示监控盲区的人员主动面向所述巡逻机器人，以辅助所述巡逻机器人进行人脸识别；

所述巡逻机器人中预先配置了多个监控盲区，在所述巡逻机器人处于巡逻状态期间，所述巡逻机器人按照预设顺序，依次行驶至各个监控盲区，依次对各个监控盲区进行巡逻；

在所述幼儿园的任一监控摄像头拍摄到人像，且所述安防服务器确定该人像不属于所述幼儿园的工作人员时，所述安防服务器生成跟踪指令，并将所述跟踪指令发送给所述巡逻机器人，所述跟踪指令携带该监控摄像头的编号和所述人像的特征向量；

所述巡逻机器人响应于所述跟踪指令，从巡逻状态切换为跟踪状态，并根据跟踪指令携带的监控摄像头编号，行驶至相应的监控摄像头；

所述安防服务器在判断出所述巡逻机器人行驶至人像所在的监控范围后，生成第二拍摄指令，并将所述第二拍摄指令发送给所述巡逻机器人；

所述巡逻机器人响应于所述第二拍摄指令，开始拍摄跟踪视频，并从所述跟踪视频中获取视频帧，以及对获取的视频帧进行人像检测；

在检测到人像的情况下，确定人像的特征向量，并将该特征向量与跟踪指令中的特征向量进行相似性对比，如果相似性超过预设阈值，则对该人像进行跟踪；

所述安防服务器在判断出所述被跟踪的人像离开所述幼儿园出口的监控摄像头的监控范围之后，生成状态切换指令，并将所述状态切换指令发送给所述巡逻机器人；

所述处理模块响应于所述状态切换指令，从跟踪状态切换为巡逻状态，并针对上一次巡逻状态期间即将巡逻的监控盲区继续进行巡逻；

幼儿园的各个监控摄像头持续拍摄监控视频，安防服务器每隔预设时间，从各监控摄像头正在显示的监控视频中提取一个视频帧；安防服务器针对幼儿园出口处的监控摄像头的视频帧，将该视频帧输入人像检测模型，从而通过人像检测模型检测该视频帧中是否包含人像；如果该视频帧中包含人像，则剪裁出人像所在区域，并对剪裁出的区域进行卷积和池化，从而得到人像的特征向量；最后将得到的特征向量与需要被跟踪的人像的特征向量进行相似性比较；如果相似性超过预设阈值，则确定需要被跟踪的人像已经达到了幼儿园的出口处；

此后，安防服务器持续对幼儿园出口处的监控摄像头的监控视频进行检测；如果检测到需要被跟踪的人像从监控视频的预设方向消失，则确定需要被跟踪的人像已经离开幼儿园；其中，所述预设方向是指远离幼儿园的方向；

当安防服务器确定需要被跟踪的人像已经从监控视频的预设方向消失，则生成状态切换指令，并将状态切换指令发送给巡逻机器人。