[发明专利]一种新闻拆条方法及系统

说明书

本发明提出一种新闻拆条方法，包括以下步骤：获取待拆条的新闻的音频帧和视频帧；预处理音频帧，获取静音时间段，并获取各静音时间段对应的断句开始时间点和断句结束时间点；预处理视频帧，获取主播特征数据；提取各断句开始时间点和断句结束时间点相对应的视频帧，获得相应的断句开始图像、断句结束图像；根据主播特征数据判断断句开始图像和断句结束图像是否存在主播切换，当存在主播切换时，根据相应静音时间段提取对应的视频帧，获得停顿段落；获取停顿段落的待拆分点，并根据各待拆分点对新闻视频进行拆条。本发明通过主播特征数据筛选出存在主播切换的停顿段落，再判断待拆分点进行新闻拆条，能够加快处理速度，提高了准确率。

技术领域

本发明涉及视频处理领域，具体涉及一种新闻拆条方法及系统。

背景技术

新闻是人们日常接收外界信息的一大渠道，随着媒体信息的丰富，存在海量的原始新闻数据，对这些新闻节目自动拆条能够极大地节省人力成本。目前的新闻拆条技术主要利用了转场识别，语音指纹、人脸识别等方法。

利用语音指纹实现的新闻拆条方法，首先需要建立新闻节目的人声指纹库，势必造成前期工作量较大，且有新增主播时，指纹库需要不断地刷新维护。且目前市面上声纹识别技术不成熟，一般情况下，准确率为90％以上，但需要事先注册大量主播语音样本，且在有背景噪声、多人会话的场景下，算法准确率急剧下降，故该方法不能满足准确、即时拆条的要求。

利用转场识别实现的新闻拆条方法，通过图像处理的技术比较前后两帧相差程度，大于一定阈值即判断是有转场。该方法虽然能识别出画面突变的时间点，保证了拆条召回率，但其误报相当多，准确率约为23％，因为在同一条新闻当中，也会有许多画面突变的点，以该特征作为拆条点，不具有特异性。

利用人脸识别实现的新闻拆条方法，通过计算所出现的人脸在视频时间和空间上的分布，判定是否是主持人，由主持人画面作为切分点。该方法进行拆条的准确率约为93.3％，但是因为需要计算人脸在时间上是否是均匀散布的，因此对视频出现的每一张人脸都会统计，耗时长；且由于某些新闻节目，主播播报方式有多样组合，比如双人播报，单人播报同时涵盖，导播台的镜头有拉近拉远的切换，通过约束人脸在整个画面的空间位置信息过滤非主持人脸，该方法的泛化能力不是很好。

综上，现有新闻拆条的方法均需要大量的先验知识，且准确率不高、泛化能力不强，故需要对现有技术做进一步改进。

发明内容

本发明针对现有技术中的缺点，提供了一种新闻拆条方法，还提出一种新闻拆条系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种新闻拆条方法，包括以下步骤：

获取待拆条的新闻的音频帧和视频帧；

预处理所述音频帧，获取静音时间段，并获取各静音时间段对应的断句开始时间点和断句结束时间点；预处理所述视频帧，获取主播特征数据；

提取各断句开始时间点相对应的视频帧，获得相应的断句开始图像，提取各断句结束时间点相对应的视频帧，获得相应的断句结束图像；

根据所述主播特征数据判断一一对应的断句开始图像和断句结束图像是否存在主播切换，当存在主播切换时，根据相应静音时间段提取对应的视频帧，获得停顿段落；

获取所述停顿段落的待拆分点，并根据各待拆分点对新闻视频进行拆条。

作为本发明一种新闻拆条方法的改进：

所述主播特征数据包括与主播对应的原始模板图像和特征描述子，所述预处理所述音频帧，获取主播特征数据的方法为：

从第一张视频帧起，每隔K抽取一张视频帧对各人像进行骨架分析，对视频帧中属于主播的人像进行标注，获得标签图像；