[发明专利]互联网人物视频交互式标注方法及系统

说明书

技术领域

本发明涉及视频智能分析技术领域，更具体的说，涉及一种互联网人物视频交互式标注方法及系统。

背景技术

随着互联网技术的发展和视频在线分享行为的流行，大量专业和非专业的视频被生产制作出来，上传到互联网，并被世界各地的用户所浏览和观看。由于这类视频通常嵌入在互联网网页内对外提供在线播放服务，因此被统称为互联网视频。人是互联网视频最受关注的主题之一。视频网站中有大量热点视频涉及到人，特别是名人，此外，名人的名字也一直是视频搜索引擎热门查询词的重要组成部分。

虽然互联网人物视频广受关注，但在大规模互联网视频库中寻找感兴趣的人物视频并不是一件容易的事情。目前主流的视频搜索引擎都是通过文本关键词匹配的方法实现视频检索。对人物视频来说，这种检索方法存在如下三个方面的不足：1)互联网视频的周边文本(例如标题、标签和用户评论)通常是不完整和带有噪声的，有人出现的视频并不一定标注了该人的名字，与此对应，标注了某人名字的视频中该人不一定会出现，导致视频搜索只能找到一部分相关的视频，且检索结果中通常存在一定比例的噪声；2)周边文本是对整个视频而不是视频内片段的描述，根据人名直接定位到该人出现的视频片段仍然是主流视频网站目前所不能提供的服务，而这种服务对用户浏览视频而言无疑可以提供很大的便利；3)检索结果列表中，出现在前面的视频通常并不是最相关的，因为仅根据人名是否出现难以得到准确的查询相关度判断。因此，产业界迫切需要更加智能有效的人物视频检索、浏览和排序方法。

解决上述问题的一个关键在于为视频中出现的人脸标注其相应的人名。换句话说，建立视频中人脸到周边文本中人名的映射关系，这一任务被一般化的称为人脸标注。虽然人脸检测和人名识别已经是比较成熟的技术，但人脸标注，特别是在人脸角度、面部表情、光照、遮挡等不受限制情况下的标注仍然是一个极具挑战的课题。在过去的数年中，针对新闻视频、电影电视剧等特定类型的视频，已经有一些有效的人脸标注方法被提出来。这些方法虽然实现上各有不同，但基本都采用了多模态信息融合的技术路线。首先，它们从新闻讲稿、语音转录文本或互联网等外部渠道获得视频所涉及主要人物(如电影的主要角色)的名字，以及视频的剧本和字幕文本，通过利用新闻讲稿或对齐剧本和字幕，得到特定人物在视频特定时间点的说话内容。同时根据视频中所检测人脸的时间点，初步建立人脸与人名的映射关系，进而利用人脸间的视觉相似性，对这一关系予以精化从而实现标注。由于新闻讲稿、剧本和字幕文本通常可以提供较为丰富和具体的人名和人物出现线索，且电影电视剧等涉及的主要人物数量通常也较为有限，上述方法可以以较高的精度实现对特定新闻节目、电影电视剧中主要人物的全自动标注。

然而，互联网视频不同于电影电视剧。互联网视频的网页上虽然也有一些文本信息，但这些文本通常数量有限、不够准确、而且没有得到较好的组织。此外，它们出现在整个视频层次，不像字幕文本那样带有时间戳信息。这些特性决定了上述依赖富文本信息挖掘的方法难以直接推广到互联网视频上。此外，互联网视频内容包罗万象，视频可能涉及的人物涵盖社会生活的方方面面，数量极多，即使是只关注其中的名人，其数量也不是一个小数字。目前，针对大规模开放式互联网视频的人脸自动标注工作仍处在预研阶段。由于难以达到较好的标注效果，目前这方面并没有成熟的方法和系统面世。

随着海量互联网视频沉淀在视频网站，且新视频数量还在以更快的速度增加，人物视频标注又成为摆在学术界和产业界面前一个不得不解决的问题。因此，将人引入到标注环节，以提高标注准确性为目标的交互式标注方法开始受到关注。在对天空、草地，建筑等一般性视觉概念的标注上，目前已经有一些有效的交互式标注方法被提出来，但这些方法并不能直接应用到区别标注不同人这一课题上来。究其原因，人工标注上述一般性的视觉概念是较为容易实现的，因为大部分时候仅通过常识即可区分这些概念，但对区别标注不同人物来说，即使是经验丰富的标注者，通常也只认识世界上非常少的人，而人是无法为自己不认识的人标注人名的。若像现有交互式标注系统一样，仅将包含人物的图像或视频帧及(多个)相关人名提交给标注用户，由于很大可能不认识待标注人物，用户很难像标注一般视觉概念那样去标注人物，即使需要标注的都是名人。在交互式人物标注特别是视频人物标注这一方面，目前相关的成果还非常少见。