[发明专利]一种基于联邦学习的视频片段检索方法及系统

说明书

本发明提供了一种基于联邦学习的视频片段检索方法及系统，属于联邦学习技术领域，所述方案通过采用基于串行学习策略的联邦学习方法，有效提高了视频检索模型的训练效率，解决了现有集中式进行模型训练花费巨大的数据传输成本和存储成本，以及容易造成隐私泄露的问题；所述方案在局部模型聚合阶段，通过客户端之间的验证集定量地测量局部模型的性能进而更好地指导模型聚合，提升了模型性能；所述方案通过将提出的分布差异损失引入到基于联邦学习的视频分析技术中，使局部模型的预测分布努力逼近总体样本的实际分布，能进一步提升模型性能。

技术领域

本发明属于联邦学习技术领域，尤其涉及一种基于联邦学习的视频片段检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着大数据时代的发展，视频分析技术的应用越来越频繁和广泛，视频片段检索(Video moment retrieval， VMR)作为视频分析技术的其中一种，目前已经引起了学术界和工业界广泛的关注，其目的是检索出长视频中最符合自然语言查询语句描述的目标视频片段，并返回相应的开始时间点和结束时间点。根据处理单元的不同，现有的VMR工作可以分为基于排序的方法和基于定位的方法，其中，基于排序的方法通过对提取的候选时刻进行排序来确定检索结果，并可以进一步分为预设候选的方法和有指导地生成候选片段的方法；基于定位的方法直接处理整个视频并返回开始和结束时间点；同时，根据是否需要迭代，基于定位的方法可分为一次定位和迭代定位。

发明人发现，尽管许多新的方法已经被引入VMR，并获得了不错的性能，但目前大多数包括VMR技术在内的视频分析技术，大都需要大量的视频数据和繁琐的人工标注，并且隐含地假设这些数据被发送到一个中央服务器来训练它们的模型；而在实际应用中，视频可能分布在不同的客户端，由不同的数据所有者拥有(例如，个人设备和组织机构)。以有VMR任务需求的监控视频数据为例，监控视频数据不仅通常占用的存储空间较大，将它们统一上传到服务器会花费很大的传输成本和存储成本，而且对数据隐私有很高的要求。因此集中式地在服务器训练VMR模型不仅会花费巨大的数据传输成本和存储成本，甚至可能会造成视频数据的隐私泄露。

发明内容

本发明为了解决上述问题，提供了一种基于联邦学习的视频片段检索方法及系统，所述方案通过采用基于串行学习策略的联邦学习方法，有效提高了视频检索模型的训练效率，解决了现有集中式进行模型训练花费巨大的数据传输成本和存储成本，以及容易造成隐私泄露的问题。

根据本发明实施例的第一个方面，提供了一种基于联邦学习的视频片段检索方法，包括：

获取查询语句以及预先指定的待检索视频；

将所述查询语句以及待检索视频输入预先训练的视频检索模型，获得所述查询语句对应的视频片段；

其中，所述视频检索模型的训练，采用串行学习策略的联邦学习方法，具体包括：对于携带有不同训练数据的若干客户端，使客户端按照预设顺序逐个的对所述视频检索模型进行局部训练，前一个客户端训练的局部模型参数传输至下一个客户端并作为其模型训练的初始化参数；所有客户端完成训练后，将所有的局部模型参数传输至中心服务器进行聚合，获得当前轮次的全局模型参数，并将所述全局模型参数下发至所述客户端继续迭代执行，直至满足预设迭代要求。

进一步的，考虑到模型训练的效率，将若干客户端进行分组，所述客户端在组内按照预设顺序逐个执行模型的训练，组间并行执行模型的训练。

进一步的，所述视频检索模型在客户端中进行局部训练的过程中，基于客户端内样本的时序类别分布，引入分布差异损失函数参与客户端的模型更新，其中，所述分布差异损失函数具体表示如下：

其中，表示所有时序类别的集合，x表示中的某一个时序类别，为客户端k预测的时序类别分布，为真实的总体时序类别分布。