[发明专利]行为识别方法、深度学习模型的训练方法及装置

权利要求书

1.一种行为识别方法，包括：

对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征；

根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征；以及

基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果；

所述对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征，包括：

对所述图像序列进行特征提取，得到与所述至少一帧图像关联的全局空间特征，以作为所述初始图像特征；

所述根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征，包括：

根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域空间特征；以及

对所述局域空间特征进行基于预设时域尺度的特征提取，得到与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。

2.根据权利要求1所述的方法，其中，所述基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果，包括：

根据与所述待检测对象关联的局域时空特征，筛选包含行为特征的目标时空特征；以及

基于所述目标时空特征，确定所述待检测对象的行为属于预设行为类别的置信度，得到所述行为识别结果。

3.根据权利要求1所述的方法，其中，所述基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果，包括：

根据与所述待检测对象关联的局域时空特征，确定所述局域时空特征与预设特征空间范围的行为特征中心之间的距离；以及

根据所述局域时空特征与所述行为特征中心之间的距离，确定针对所述待检测对象的行为识别结果，

其中，所述行为特征中心用于表征所述特征空间范围内的行为特征。

4.根据权利要求1至3中任一项所述的方法，还包括：

根据所述行为识别结果和/或与所述待检测对象关联的局域时空特征，对所述待检测对象进行追踪，得到对象追踪结果。

5.一种深度学习模型的训练方法，包括：

利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与所述样本图像序列中的至少一帧样本图像关联的初始样本特征；

根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征；

基于所述目标样本特征，进行针对所述至少一帧样本图像的对象行为识别，得到行为识别结果；以及

根据所述行为识别结果和预设行为标签，对所述深度学习模型的模型参数进行调整，得到经训练的深度学习模型；

所述对样本图像序列进行特征提取，得到与样本图像序列中的至少一帧样本图像关联的初始样本特征，包括：

对所述样本图像序列进行特征提取，得到与所述至少一帧样本图像关联的全局空间特征，以作为所述初始图像特征；

所述根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征，包括：

根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域空间特征；以及

对所述局域空间特征进行基于预设时域尺度的特征提取，得到与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。