[发明专利]基于时空强化学习的跨模态视频时刻定位方法

权利要求书

1.一种基于时空强化学习的跨模态视频时刻定位方法，其特征在于，包括以下步骤：

S01、输入完整视频和查询语句，抽取视频特征和查询语句特征，构建强化学习环境；

S02、基于强化学习环境信息进行时序强化学习并定位视频的时序边界，所述环境信息包括视频全局特征、视频局部特征、定位边界和查询语句特征；

S03、基于所述时序强化学习的定位边界进行空间强化学习，在所述环境中处理空间信息并逐帧追踪相关场景，并用注意力机制过滤无关信息；

S04、根据空间强化学习更新时序强化学习的局部片段特征，使得所述空间强化学习和所述时序强化学习交替训练，直至收敛，得到对应查询语句的视频时刻片段。

2.根据权利要求1所述的基于时空强化的跨模态视频时刻定位方法，其特征在于，所述步骤S02中，所述时序强化学习步骤包括：定义状态为s_e^t＝[f_e，l^t，f_o^t，f_g]，其中f_e为查询语句特征、l^t为位置特征、f_o^t为所述位置特征相应的空间信息特征，f_g为视频全局特征，t是当前时间步；定义时序强化学习智能体的动作A_e，所述动作A_e包括同时向前移动起点、同时向前移动终点、同时向后移动起点、同时向后移动终点、单独向前/向后移动起点和终点、单独向后移动起点和终点以及停止动作；设置所述时序强化学习智能体移动的初始位置为L₀＝[0.25*n，0.75*n]，其中n是视频图像帧的总长度，动作每步的移动大小设置为n/2z_e，其中z_e为确定的超参数；定义智能体的最大搜索步数；所述时序强化学习智能体从环境中获取所述状态后，执行动作A_e，使用IoU评估后得到每步的奖励。

3.根据权利要求2所述的基于时空强化的跨模态视频时刻定位方法，其特征在于，所述步骤S02中，使用IoU进行评估的公式为：

根据IoU的计算结果，定义所述时序强化学习智能体每步移动的奖励r_e^t为：

其中，φ为惩罚系数，当IoU^t大于IoU^t-1，则当前动作将被视为正反馈，奖励为正，否则奖励为零或负，同时减去一个智能体对步数的惩罚。

4.根据权利要求1所述的基于时空强化的跨模态视频时刻定位方法，其特征在于，步骤S03中，所述空间强化学习使用目标跟踪框算法实现观察输入视频帧的空间信息，并输出连续图像帧的空间边界。