[发明专利]动作定位模型的训练方法、装置及动作定位方法

说明书

本发明提供了一种动作定位模型的训练方法，包括：操作1，对样本视频集中样本视频的样本特征数据进行聚类分析，得到第一伪标签集；操作2，利用样本视频集和第一伪标签集对初始动作定位模型进行训练，得到第一动作定位模型；操作3，根据第一动作定位模型和当前前景特征更新第一伪标签集，得到第二伪标签集；操作4，在确定第二伪标签集不满足预设条件的情况下，利用样本视频集和第二伪标签集对第一动作定位模型进行训练，得到第二动作定位模型；操作5，循环执行操作3和操作4以循环更新伪标签集，直到得到的第i伪标签集满足预设条件时，结束训练，得到最终动作定位模型。本发明还提供了一种动作定位模型的训练装置、动作定位方法。

技术领域

本发明涉及人工智能技术领域，具体涉及智能行为分析，更具体地涉及一种动作定位模型的训练方法、装置及动作定位方法。

背景技术

时域动作定位能够从给定的大量视频中定位到动作的开始时间和结束时间，在智能监控、视频描述、视频总结等领域有着广泛的应用。

传统的动作定位方法通常基于预定类别或者全监督学习，利用预先定义的动作类型对视频数据进行类别标注和边界标注，然后利用标注数据训练模型。这一过程需要预先定义动作类型，并标注大量数据，限制了动作定位的应用性。

为了减轻对数据标注和预定动作类别的依赖，无监督时域动作定位算法逐渐受到关注。然而，当前无监督时域动作定位方法利用谱聚类算法来产生视频级别的类别伪标签，然后利用这些伪标签来训练模型。但是，该训练过程无法保证不同的聚类过程中伪标签的连续性，使得模型训练不稳定，导致动作定位不完整或错误定位。

发明内容

鉴于上述问题，本发明提供了一种动作定位模型的训练方法、装置及动作定位方法。

根据本发明的第一个方面，提供了一种动作定位模型的训练方法，包括：

操作1，对样本视频集中样本视频的样本特征数据进行聚类分析，得到第一伪标签集，其中，上述第一伪标签集包括与上述样本视频对应的伪标签；

操作2，利用上述样本视频集中样本视频的样本特征数据和上述第一伪标签集中的伪标签对初始动作定位模型进行训练，得到第一动作定位模型；

操作3，根据更新系数和当前前景特征更新上述第一伪标签集，得到第二伪标签集，其中，上述当前前景特征为在对上述初始动作定位模型训练过程中对上述样本视频进行处理得到的；

操作4，在确定上述第二伪标签集不满足预设条件的情况下，利用上述样本视频集中样本视频的样本特征数据和上述第二伪标签集中的伪标签对上述第一动作定位模型进行训练，得到第二动作定位模型；

操作5，循环执行操作3和操作4以循环更新伪标签集，直到得到的第i伪标签集满足上述预设条件时，结束训练，得到最终动作定位模型。

根据本发明的实施例，上述根据更新系数和当前前景特征更新上述第一伪标签集包括：

根据上述更新系数和上述当前前景特征更新样本存储器和中心存储中的特征，得到更新后的前景特征和更新后的中心特征，其中，上述样本存储器用于存储与上述样本视频对应的历史前景特征，上述中心存储器用于存储与每个伪标签对应的历史中心特征；

根据上述样本存储器中更新后的前景特征和上述中心存储器中更新后的中心特征更新上述第一伪标签集。

根据本发明的实施例，上述根据上述样本存储器中更新后的前景特征和上述中心存储器中更新后的中心特征更新上述第一伪标签集包括：

将上述样本存储器中更新后的前景特征输入上述第一动作定位模型的分类器中，输出成本矩阵，其中，上述成本矩阵反映每个候选伪标签分配给上述样本视频的概率；