[发明专利]一种识别多标签行为的方法和装置

说明书

本发明实施例公开了一种识别多标签行为的方法和装置。该方法包括：依据预先训练的行为识别模型对输入图像进行识别，得到特征图；依据特征图提取关键区域；依据关键区域获取至少一个行为的特异性特征；依据至少一个行为的特异性特征获取各行为之间的相关性特征；依据特异性特征和相关性特征进行分类，得到各行为对应的分类结果。本发明提供的方案能够实现对视频中出现的多标签行为进行准确识别。

技术领域

本发明涉及计算机技术应用领域，尤其涉及一种识别多标签行为的方法和装置。

背景技术

随着计算机技术的发展，行为识别技术日趋成熟，在安防领域，聚众检测、斗殴检测、行为预警被广泛应用；在体育领域，运动员训练评估，动作打分，也都可见行为识别的身影；行为识别更是在智能家居，人机交互，短视频领域有着广泛的应用。其中，多标签行为识别在复杂场景中，显示出了更好的鲁棒性。多标签行为识别不同于单标签行为识别，当一个被检测视频中发生了多个动作时，单标签识别只能输出一个行为标签，无法完整体现出视频包含的内容。

多标签行为识别是一个分类问题，顾名思义，输入一段视频后，行为识别模型可以输出代表视频中多个行为类别。流程可以为：多个视频帧作为输入，通过神经网络提取特征，将特征送入分类器，得到分类结果。其中，神经网络的设计，即，特征提取是流程中最重要的一环。

但是目前的方法存在如下问题：

当前大部分主流方案是将视频送入网络后，统一提取特征，再进行分类，但是对于多标签视频，视频中包含了多个不同的子行为，统一提取特征会淹没某些行为的特异性特征，因此难以取得较高的精确度。

针对上述由于现有技术对特征提取过程中，现有的神经网络无法满足多标签行为识别需求的问题，目前尚未提出有效的解决方案。

发明内容

为解决上述技术问题，本发明实施例期望提供一种识别多标签行为的方法和装置，以至少解决由于现有技术对特征提取过程中，现有的神经网络无法满足多标签行为识别需求的问题。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种识别多标签行为的方法，包括：依据预先训练的行为识别模型对输入图像进行识别，得到特征图；依据特征图提取关键区域；依据关键区域获取至少一个行为的特异性特征；依据至少一个行为的特异性特征获取各行为之间的相关性特征；依据特异性特征和相关性特征进行分类，得到各行为对应的分类结果。

可选的，在依据预先训练的行为识别模型对输入图像进行识别之前，该方法还包括：获取训练图像；将训练图像作为输入图像输入端到端网络模型，获取训练图像中至少一个行为的特异性特征；依据至少一个行为的特异性特征获取各行为之间的相关性特征；依据特异性特征和相关性特征对端到端网络模型进行训练，直至端到端网络模型收敛，得到行为识别模型。

进一步地，可选的，依据特异性特征和相关性特征对端到端网络模型进行训练，直至端到端网络模型收敛，得到行为识别模型包括：将特异性特征和相关性特征作为端到端网络模型的输入数据；将输入数据通过端到端网络模型的全连接层，得到对应特异性特征的第一特征值和对应相关性特征的第二特征值；将第一特征值和第二特征值输入softmax层，得到分类结果；依据分类结果和输入数据对端到端网络模型进行训练，直至端到端网络模型收敛，得到行为识别模型。

可选的，在将第一特征值和第二特征值输入softmax层，得到分类结果之后，该方法还包括：将分类结果送入预设损失函数计算损失值，进行梯度的反向传播，更新参数；其中，预设损失函数，用于分类任务。

可选的，依据预先训练的行为识别模型对输入图像进行识别，得到特征图包括：在输入图像包括视频的情况下，将预设维度的视频输入行为识别模型进行图像提取，得到特征图，其中，预设维度包含通道数、时间、宽和高。

可选的，依据特征图提取关键区域包括：通过在特征图上应用多个注意力模块，从特征图中提取关键区域。