[发明专利]一种基于边界搜索智能体的时序动作片段分割方法

说明书

本发明公开了一种基于边界搜索智能体的时序动作片段分割方法。本发明方法首先对视频采样处理，获得视频帧图像序列，通过特征提取器获得视频帧单元编码序列，然后构建动作发现网络获得动作单元，通过生成的边界搜索智能体得到动作单元所属动作片段的时序边界。本发明利用动作发现——边界搜索两阶段模型对视频帧之间的时序关系进行刻画，使用执行——评判网络结构的边界搜索智能体建立评判模型用于衡量边界搜索策略的优劣，基于强化学习机制设计具有记忆功能的智能体对动作边界进行跳转式搜索，更符合人的记忆机制和搜索习惯，通过双向迭代检测方法定位动作片段的时序边界，大幅提升了时序动作片段分割的平均精度，提高动作片段所属类别的识别率。

技术领域

本发明属于视频理解与分析中的时序动作定位技术领域，涉及一种基于边界搜索智能体的时序动作片段分割方法。

背景技术

在当今的大数据时代，视频凭借其内容直观、表现形式丰富等特点成为体量最大的传播媒介，各类视频网站和短视频平台不间断地产生海量流数据。实际应用场景如自动驾驶，往往需要知晓视频中发生了什么动作什么时候发生的，因此，动作理解已成为计算机视觉领域的热点研究问题，尤其是时序动作片段分割。该任务的目标是根据动作的开始时间与结束时间将原始视频中的目标片段分割出来，即预测目标动作片段的时序边界和类别标记。其中，时序边界包括动作片段的开始帧位置(即开始时间)和结束帧位置(即结束时间)，类别标记指动作片段所属的类别。时序动作片段分割的研究能够辅助其他视频理解任务的发展，如为动作识别任务提供剪辑好的视频片段、为视频描述任务提供动作的类别标记以及帮助异常事件捕捉任务提供时序标注信息等。

视频和动作实例的时长不一致、动作实例呈稀疏分布，以及时序边界模糊等困难为时序动作片段分割任务带来巨大挑战。一般来说，该任务可简化为两个模块：动作提议生成和动作提议处理。其中，动作提议生成的目标是粗略生成仅有时序边界而无类别标记的动作片段提议，希望通过尽可能少的提议召回尽可能多的动作实例；动作提议处理的目标是对提议进行类别标记的预测和时序边界的调整，最后经过评估筛选获得动作片段。然而，相关研究通过追踪人搜索视频中动作实例的行为发现，人倾向于快速地搜索与目标动作相关的内容节点，随后再向节点的前后搜索该动作实例的开始时间与结束时间，从而实现时序动作片段分割。受此启发，研究人员提出其前驱任务——动作发现(Action Spotting)，目标是找到动作实例的开始时间至结束时间区段内的任意时间点，即定位与目标动作相关的某个内容节点。

通常，人在发现动作的过程中会观察视频并在大脑中生成时间点搜索序列，为了让机器模拟类似过程，研究人员提出基于时间点搜索序列的动作搜索模型，具体使用长短期记忆(LSTM：Long Short-Term Memory)网络将动作发现前驱任务转化为序列预测问题，每一时间步的预测对应搜索序列的时间点。近来，基于强化学习的方法被用于分割时序动作片段，例如：帧快速浏览模型以单帧图像为输入，下一时间步跳转偏置为输出，迭代搜索目标动作片段，端到端地完成任务；自适应提议模型(SAP：Self-Adaptive Proposal)将提议生成作为前驱任务，智能体可通过调整时序窗口的位置或者时序宽度的动作对动作实例进行定位，完成提议生成任务。

上述已有的方法存在以下明显缺点：第一，人类的搜索策略不完全适用计算机，机器需通过强化学习得到更高效、更合适的搜索策略；第二，受限于理论研究和硬件要求，强化学习难以高效准确地同时完成时序动作定位任务和动作发现任务；第三，帧快速浏览模型仅输入单帧图像，信息量不足造成时序边界预测不准确，边界需要结合动作内容及其上下文特征进行搜索。由此，迫切需要设计通过提高时序边界搜索精度从而增强时序动作片段分割性能的方法。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于边界搜索智能体的时序动作片段分割方法，从人的搜索习惯出发，采用动作发现——边界搜索两阶段模型，通过具有记忆功能的智能体对动作边界进行跳转式搜索，从而高效分割动作实例所在的视频片段。

本发明方法首先获取视频数据集合，然后进行如下操作：