[发明专利]一种用于实验室安全管理的人员行为实时检测算法及装置

权利要求书

1.一种用于实验室安全管理的人员行为实时检测算法，其特征在于：使用基于Transformer的多目标检测预训练模型，同时检测人员位置、物品位置、物品类型，并识别出人员行为类型；通过与预定义的受控行为类型比对，实现对受控行为的实时监测。

2.根据权利要求1所述的一种用于实验室安全管理的人员行为实时检测算法，其特征在于：包括以下步骤：

S1：模型训练：获取实验室日常工作视频作为训练用监控视频，根据训练用监控视频进行图像数据标注后训练基于Transformer的多目标检测预训练模型；

所述图像数据标注包括标注人员、标注受控物品以及标注受控行为；

S2：实时监测：获取实时监控摄像头拍摄的图像，采用经模型训练的基于Transformer的多目标检测预训练模型对实时监控摄像头拍摄的图像进行人员、受控物品以及受控行为的检测；

S3：行为预警：根据实时监测得到的人员、受控物品以及受控行为检测结果按照预警规则进行预警并采取相应的预警动作；

S4：模型调优：实验室环境发生较大改变后，需要进行调优训练(重新进行步骤S1优化原有模型)。

3.根据权利要求2所述的一种用于实验室安全管理的人员行为实时检测算法，其特征在于：

所述基于Transformer的多目标检测预训练模型在受控物品或者受控行为发生变化时进行调优训练；

所述步骤S1包括以下训练步骤：

S101：获取训练用监控视频，在训练用监控视频中截取存在人员和受控物品的画面获得训练用图片集合；

S102：对训练用图片集合中的每张图片进行图像数据标注得到标签集合；

S103：对训练用图片集合以及标签集合进行数据增广得到增广数据集合，并将增广数据集合划分为训练数据集和验证数据集；

S104：采用训练数据集对基于Transformer的多目标检测预训练模型进行训练，并采用验证数据集进行模型准确率验证来判断是否结束训练。

4.根据权利要求3所述的一种用于实验室安全管理的人员行为实时检测算法，其特征在于：所述标签集合的标签包括：

(1)图片中的人员位置；

(2)图片中的受控物品位置；

(3)图片中人员行为类型；

(4)和人员交互的受控物品类型；

所述步骤S103中数据增广的方法包括镜像、缩放、透视变形、扭曲、增加噪声。

5.根据权利要求1或2所述的一种用于实验室安全管理的人员行为实时检测算法，其特征在于：所述基于Transformer的多目标检测预训练模型包括依次连接的特征提取网络、编码器、解码器层以及多个前向网络，所述特征提取网络自图片数据提取得到特征图；所述特征图经编码器编码得到编码后的特征图；所述编码后的特征图经解码器层解码得到特征输出；所述特征输出经前向网络进行目标检测得到输出向量。

6.根据权利要求5所述的一种用于实验室安全管理的人员行为实时检测算法，其特征在于：所述编码器为多层堆叠的注意力机制的Transformer的编码器；所述解码器层为多层Transformer解码器层。

7.根据权利要求5所述的一种用于实验室安全管理的人员行为实时检测算法，其特征在于：所述前向网络包括人员位置检测网络、物品位置检测网络、物品类型网络以及动作类型网络；所述人员位置检测网络、物品位置检测网络、物品类型网络以及动作类型网络分别检测人员的位置、受控物品的位置、受控物品的类型以及受控行为的类型。

8.根据权利要求5所述的一种用于实验室安全管理的人员行为实时检测算法，其特征在于：所述前向网络连接预测结果优化单元，所述预测结果优化单元对输出向量出现多个人员或多个受控物品或多个受控行为的预测结果进行优化匹配。