[发明专利]基于时空信息融合的翻越行为实时检测方法及相关组件

权利要求书

1.一种基于时空信息融合的翻越行为实时检测方法，其特征在于，包括：

获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入AlphaPose模型，提取出单帧图像的人体骨骼信息，其中所述人体骨骼信息包括人体骨骼关键点的像素坐标及其置信度；

将每一帧图像的人体骨骼信息依次存入固定队列；

判断所述固定队列中的长度是否大于预定长度，若是，则按时间先后将所述固定队列中存入时间最早的一帧图像的人体骨骼信息取出；

按预定义的骨骼点数字索引将所取出的一帧图像的人体骨骼信息构建为表示人体物理结构连接的数组，并输入至2s-AGCN模型，输出行为类别及其置信度。

2.根据权利要求1所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入AlphaPose模型，提取出单帧图像的人体骨骼信息，包括：

通过目标检测算法检测每一帧图像，得到行人检测框；

将所述行人检测框输入STN模块与SPPE模块，自动生成姿态框；

将所述姿态框输入P-NMS模块进行提炼；

通过姿态生成器生成与姿态框分布相同的行人框，以进行数据增强。

3.根据权利要求2所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述目标检测算法为YOLOv7-Tiny。

4.根据权利要求3所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述YOLOv7-Tiny中设置有Mobi leOne模块，用于平衡检测的精度与速度。

5.根据权利要求4所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述MobileOne模块包括：依次设置的深度卷积模块和点卷积模块；所述深度卷积模块的卷积核大小为3×3，所述点卷积模块的卷积核为1×1；所述深度卷积模块中设置有3条分支，所述点卷积模块中设置有2条分支。

6.根据权利要求3所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述YOLOv7-Tiny中使用H-Swish激活函数。

7.根据权利要求6所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述H-Swish激活函数的计算公式如下：

其中，x为输入。

8.一种基于时空信息融合的翻越行为实时检测装置，其特征在于，包括：

提取单元，用于获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入AlphaPose模型，提取出单帧图像的人体骨骼信息，其中所述人体骨骼信息包括人体骨骼关键点的像素坐标及其置信度；

存入单元，用于将每一帧图像的人体骨骼信息依次存入固定队列；

判断单元，用于判断所述固定队列中的长度是否大于预定长度，若是，则按时间先后将所述固定队列中存入时间最早的一帧图像的人体骨骼信息取出；

输出单元，用于按预定义的骨骼点数字索引将所取出的一帧图像的人体骨骼信息构建为表示人体物理结构连接的数组，并输入至2s-AGCN模型，输出行为类别及其置信度。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于时空信息融合的翻越行为实时检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于时空信息融合的翻越行为实时检测方法。