[发明专利]一种面向海量广播电视监管的自动新闻拆条方法

权利要求书

1.一种面向海量广播电视监管的自动新闻拆条方法，包括以下步骤：

步骤1、新闻数据初始化；

步骤2、提取初始化后的新闻数据的音视频特征；

步骤3、根据所提取的音视频特征，采用启发式规则获取新闻条目边界的视觉候选点和语音候选点；

步骤4、根据所获得的视觉候选点和语音候选点，采用音视频融合策略对新闻条目边界进行定位计算，得到最终的新闻拆条边界位置。

2.如权利要求1所述的面向海量广播电视监管的自动新闻拆条方法，其特征在于，步骤1中新闻数据初始化包括获取新闻数据中的音频波形数据和视频图像数据。

3.如权利要求1-2任一项所述的面向海量广播电视监管的自动新闻拆条方法，其特征在于，步骤2中音视频特征提取包括提取主持人出现位置信息、字幕出现位置及持续时间、声学语音边界点出现位置。

4.如权利要求3所述的面向海量广播电视监管的自动新闻拆条方法，其特征在于，主持人出现位置信息如下提取：

步骤201、对新闻数据中的视频做镜头检测，并选取各镜头的中间帧标记为关键帧，得到新闻视频关键帧集合；

步骤202、用人脸检测方法在新闻视频关键帧集合中检测各帧的人脸；

步骤203、根据所述新闻视频关键帧集合中各帧的人脸数目选取满足条件的关键帧，作为主持人候选帧集合；

步骤204、在主持人候选帧集合中，分别提取各候选帧的全局分块颜色直方图和身体躯干区域的SIFT点，分别作为全局特征和局部特征描述；

步骤205、计算两两主持人候选帧之间的全局特征和局部特征线性加权后的距离度量得到全局距离、局部距离和加权距离，并基于图聚类对主持人候选帧集合做无监督聚类，得到主持人候选帧集合中各个主持人候选帧的分类；

步骤206、计算聚类所得到的各类内的帧数、主持人候选帧分布以及主持人候选帧人脸面积信息，并设置启发式条件选取出主持人子类，并通过主持人子类内各主持人候选帧对应的时间点获得主持人出现位置信息。

5.如权利要求4所述的面向海量广播电视监管的自动新闻拆条方法，其特征在于，所述全局距离、局部距离和加权距离分别表示两两主持人候选帧之间的主持人背景差异、主持人前景差异，以及基于上述背景差异和前景差异线性加权计算得到的主持人候选帧间整体差异。

6.如权利要求4-5任一项所述的面向海量广播电视监管的自动新闻拆条方法，其特征在于，字幕出现位置及持续时间如下提取：

步骤211、对新闻数据中的视频以一定的间隔抽取图像帧，作为字幕检测及跟踪对象；

步骤212、对抽取的图像帧提取两次双边缘特征，得到图像帧的二值笔画特征图；

步骤213、对所得到的二值笔画图SM进行列投影和平滑，计算得到候选字幕行集合；

步骤214、对所述候选字幕行集合中的每个候选字幕行进行行投影和平滑，计算得到其中的字幕文本候选区域；

步骤215、基于所得到的字幕文本候选区域沿时间轴一定范围内前向和后向跟踪计算该区域中显著变化的像素的比例，得到该字幕文本候选区域出现和消失时间点；

步骤216、根据所述字幕文本候选区域以及其出现和消失的时间点，计算任意两个字幕文本候选区域的时序相交和空间重合关系，并根据时序相交和空间重合关系进行合并相应的字幕文本候选区域，获取全部字幕文本候选区域出现和消失的时间。

7.如权利要求6所述的面向海量广播电视监管的自动新闻拆条方法，其特征在于，步骤212中两次边缘特征提取分别为：第一次边缘特征提取为提取图像帧对应的灰度图像的第一笔画特征图；第二次边缘特征提取为提取所述灰度图像的像素翻转图像的第二笔画特征图；所述图像的二值笔画特征图为上述第一笔画特征图和第二笔画特征图进行并集叠加后的笔画特征图。