[发明专利]直播视频群组异常活动检测方法、装置、电子设备及介质

权利要求书

1.一种直播视频群组异常活动检测方法，其特征在于，包括：

使用卷积神经网络提取直播视频帧序列中个体的深度时空特征，并使用FPN和PAN网络对所述直播视频帧序列中的个体进行定位，以得到位置参数；

将所述个体的深度时空特征和位置参数作为输入以构建图卷积模块，从而提取群组活动关系，并利用所述图卷积模块对时间上下文信息进行编码，以得到不同时间尺度的群组活动码字；

将所述不同时间尺度的群组活动码字与已知类别的群组活动码字进行匹配，以判定是否发生群组异常活动和/或发生所述群组异常活动的时间段。

2.根据权利要求1所述的直播视频群组异常活动检测方法，其特征在于，所述卷积神经网络是基于Kinetics数据集进行预训练得到的。

3.根据权利要求1或2所述的直播视频群组异常活动检测方法，其特征在于，所述卷积神经网络采用将ResNet模块替换为TEA模块的ResNet-50模型来提取所述深度时空特征。

4.根据权利要求1所述的直播视频群组异常活动检测方法，其特征在于，将所述个体的深度时空特征和位置参数作为输入以构建图卷积模块包括：

以所述个体作为结点，基于所述个体的深度时空特征得到结点的参数，基于所述个体的深度时空特征和位置参数得到所述结点间的边；

通过判断所述结点对群组活动的贡献程度并删除贡献程度低的结点，对所述结点进行优化。

5.根据权利要求1所述的直播视频群组异常活动检测方法，其特征在于，利用所述图卷积模块对时间上下文信息进行编码，以得到不同时间尺度的群组活动码字包括：

基于时间金字塔提取不同尺度的时序关系，将不同尺度、不同时间的群组活动关系输入到所述图卷积模块中以融合时间上下文，将所述图卷积模块的输出作为所述不同时间尺度的群组活动码字。

6.根据权利要求1所述的直播视频群组异常活动检测方法，其特征在于，将所述不同时间尺度的群组活动码字与已知类别的群组活动码字进行匹配，以判定是否发生群组异常活动和/或发生所述群组异常活动的时间段包括：

将所述直播视频帧序列的最大时间尺度的群组活动码字与已知类别的群组活动码字进行匹配，判定是否存在群组异常活动，若存在群组异常活动则将所述直播视频帧序列的最小时间尺度的群组活动码字与已知类别的群组活动码字进行匹配，判定所述群组异常活动发生的时间段。

7.根据权利要求1或6所述的直播视频群组异常活动检测方法，其特征在于，将所述不同时间尺度的群组活动码字与已知类别的群组活动码字进行匹配包括：

使用针对小样本学习的损失函数，以准确判定所述群组异常活动发生的时间段。

8.一种直播视频群组异常活动检测装置，其特征在于，包括：

时空特征提取与人体定位模块，用于使用卷积神经网络提取直播视频帧序列中个体的深度时空特征，并使用FPN和PAN网络对所述直播视频帧序列中的个体进行定位，以得到位置参数；

群组活动关系提取与时间上下文编码模块，用于将所述个体的深度时空特征和位置参数作为输入以构建图卷积模块，从而提取群组活动关系，并利用所述图卷积模块对时间上下文信息进行编码，以得到不同时间尺度的群组活动码字；

群组异常活动判定模块，用于将所述不同时间尺度的群组活动码字与已知类别的群组活动码字进行匹配，以判定是否发生群组异常活动和/或发生所述群组异常活动的时间段。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述直播视频群组异常活动检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述直播视频群组异常活动检测方法的步骤。