[发明专利]一种融合多模态特征的网球视频事件检测方法

摘要

本发明公开了一种融合多模态特征的网球视频事件检测方法，包括：文本信息提取：比分牌定位与分割、比分信息提取；视觉特征提取：镜头边界检测、镜头分类、回放镜头检测；视频结构划分、网球视频领域知识分析、事件检测。本发明融合比分信息与视频视觉特征，并结合网球比赛领域知识，实现了网球视频的事件检测工作，解决了用户观看网球视频时需要快速定位自己感兴趣内容的需求，从而减少了用户的浏览时间，为视频摘要生成等工作提供便利。

主权项

1.一种融合多模态特征的网球视频事件检测方法，其特征在于，包括：/n(1)获取网球视频中的比分牌位置信息，由比分牌位置信息得到比分牌中球员名字的位置信息以及比分数字的位置信息，由球员名字的位置信息以及比分数字的位置信息确定发球指示符的位置信息；/n(2)由发球指示符的位置信息、球员名字的位置信息以及比分数字的位置信息对包含比分牌的样本帧图像进行识别确定球员名称、比分序列以及发球指示符所对应的球员；/n(3)将网球视频进行分段得到候选段，利用候选段结合SVD降维特征向量进行镜头边界检测；/n(4)使用主色率和边缘像素率对包含比分牌的图像帧序列进行镜头类型划分，其中，镜头类型包括play镜头和break镜头；/n(5)从不含比分牌的图像帧序列中根据渐变序列检测回放镜头；/n(6)根据网球比赛视频编辑特点，对网球视频划分事件段；/n(7)融合发球指示符信息、球员名称、比分序列、镜头边界检测结果、镜头分类结果、回放镜头检测结果以及网球比赛的领域知识本信息对事件段进行事件检测，确定事件类型；/n步骤(5)具体包括以下子步骤：/n(5.1)取一段不含比分牌序列，若该序列长度超过length，则取下一段，否则执行步骤(5.2)；/n(5.2)将该段分成前后两部分，分别为fseg和bseg；/n(5.3)以预设数量的帧为滑动窗口从fseg取帧，构建特征向量；/n(5.4)使用SVD降维特征向量，按照余弦公式计算相邻帧间相似度和首尾帧间相似度G，得到该段的平均相似度avgSimilarity；/n(5.5)若G≤第十预设值∪(G>第十一预设值∩G<第十二预设值∩avgSimilarity<第十三预设值)，则该段是渐变序列，记录渐变开始，执行步骤(5.6)，如果fseg没有满足以上公式的序列，则执行步骤(5.7)；/n(5.6)跳转执行步骤(5.3)按倒序处理后半段bseg；/n(5.7)在渐变序列集合中检查在fseg中是否存在渐变结果，如果存在，则记录渐变开始，执行步骤(5.6)，否则该不含比分牌序列不存在回放镜头，执行步骤(5.1)。/n