[发明专利]一种基于深度学习多层次分割新闻视频的通用方法

说明书

一种基于深度学习多层次分割新闻视频的通用方法属于计算机人工智能和视频处理领域。本发明首先根据频道标识符(logo)及主持人脸的特点，进行针对性的方式处理，提高后续训练及检测效果；然后，考虑到多类新闻视频之间的差异性，本文率先提出预先进行新闻logo识别，将识别后的频道再输入至各自的人脸检测通道中依次识别的方法，进而提高了视频分割的通用性；最后，基于主持环节的共同点，本文提出采用人工特征及时间阈值的交叉检测进行精筛选，进而最终检测到各频道的主持环节，实现分割多类新闻视频的通用方法。本方法大大增强了分割各类新闻视频的普适性，进而更好地代替手动分割视频方法，极大地减少了人力成本，提高视频处理的效率。

技术领域

本发明属于计算机人工智能和视频处理领域，具体来说，涉及到一种基于深度学习多层次分割新闻视频的通用方法。

背景技术

多媒体技术和互联网的发展给我们的日常生活带来了很多的视频资源，如何对海量的数字媒体进行有效的管理、组织、检索成为了图像处理领域里的热门研究课题。传统的方法一般是采用人工手段对视频各部分的段落进行手动的事件分割，并对分割后的事件加入人为描述信息，但是这样不仅耗时而且掺杂了许许多多人为的主观因素。事件分割作为视频标注检索的首要工作，起到了关键的作用。

新闻视频与人类的日常生活密切相关，新闻视频均由多段独立的新闻事件组成，事件与事件之间会存在主持人播报环节，由于新闻事件之间的复杂性，因此希望通过利用主持人播报环节找到事件之间的分割点。同一频道的主持人位置相对固定，但背景不同；然而在不同频道之间，主持人所处位置却也不同。因此，需要一种通用的方法来解决多类新闻频道之间的事件分割问题。

另外，深度学习作为当下热门人工智能方法在图像处理领域发挥了至关重要的作用，并且在图像处理领域也取得了傲人的成绩。因此，本方法主要是基于深度学习的多层次分割新闻视频的通用方法。

事件分割本身是视频标注检索的首要工作，面向多类频道的分割方法能够提高新闻视频分割的普适性。基于深度学习能够减少人工提取特征的局限性，进而提高了方法的准确率。本方法旨在面向多类新闻视频时能够起到自动分割新闻事件的作用，在保证准确率的前提下，提高时效性，节省人力成本，极大地提高工作效率。

发明内容

本发明首先根据频道标识符(logo)及主持人脸的特点，有别于统一的数据处理方式，对其进行针对性的方式处理，提高后续训练及检测效果；然后，考虑到多类新闻视频之间的差异性，本文率先提出预先进行新闻logo识别，将识别后的频道再输入至各自的人脸检测通道中依次识别的方法，进而提高了视频分割的通用性；最后，基于主持环节的共同点，本文提出采用人工特征及时间阈值的交叉检测进行精筛选，进而最终检测到各频道的主持环节，实现分割多类新闻视频的通用方法。本方法大大增强了分割各类新闻视频的普适性，进而更好地代替手动分割视频方法，极大地减少了人力成本，提高视频处理的效率。

本发明采用的技术方案是：

一种基于深度学习多层次分割新闻视频的通用方法，其特征在于，包括以下步骤：

1、训练数据的准备、扩张及预处理

本文应用两种不同的深度网络模型进行训练检测，需要大量的logo数据以及人脸数据进行训练，因此，需要针对不同的数据类型，进行不同方式的数据获取及扩张，增强训练模型的鲁棒性，提高检测效果。具体步骤如下：

(1.1)获取数据

首先将获取到的视频拆分成帧序列。

本文针对人脸图片的特性，提出一种提取人脸正样本和负样本的方法：设定一个固定大小M*M的滑动窗口在获取的人脸图片上进行滑动，当窗口与人脸的交集大于60％，视为正样本；本文为保证网络能够收敛，负样本之间需要存在共性，故提出只有当窗口与人脸交集在15％-30％之间，才将其视为负样本。